AM4, AM5 и Threadripper: имеет ли значение производительность процессора для локального ИИ? | Mic...

Ознакомьтесь со всеми процессорами в Micro Center — https://micro.center/e17381 Действительно ли важен ваш процессор при локальном запуске ИИ? Мы знаем, что основную нагрузку выполняет графический процессор, но насколько сильно вы теряете производительность, используя более старый процессор? В этом видео Джейкоб из Micro Center тестирует 10 различных процессоров AMD, от Ryzen 5 3600XT до высокопроизводительного Ryzen Threadripper PRO 9965WX, чтобы выяснить, имеет ли значение производительность процессора для локального ИИ. Мы использовали эти процессоры в паре с рабочими станциями NVIDIA GeForce RTX 5090 и RTX PRO 6000, тестируя производительность вывода ИИ, скорость генерации токенов, время загрузки моделей и рабочие нагрузки с несколькими одновременными пользователями. Результаты оказались неожиданными. Несмотря на огромные различия в архитектуре процессора, количестве ядер и цене, мы практически не обнаружили измеримой разницы в скорости генерации токенов для многих наших рабочих нагрузок ИИ с ускорением на графическом процессоре. Но когда дело дошло до загрузки моделей в видеопамять, всё стало намного интереснее. Мы также рассмотрим, как пропускная способность PCIe, архитектура процессора, память и хранилище влияют на локальную производительность ИИ, и почему системы с унифицированной памятью, такие как AMD Ryzen AI Halo, предлагают иной подход к созданию рабочей станции для ИИ. 00:00 Вступление 00:30 Процессоры AMD, использованные для тестирования 01:01 Видеокарты, использованные для тестирования 01:15 Обзор производительности процессоров 01:27 Результаты Gemma 4 E4B на RTX 5090 и RTX PRO 6000 02:33 Тест плотной модели и время загрузки модели на Qwen 3.6 27B FP8 на RTX PRO 6000 03:01 Объяснение результатов времени загрузки модели Gemma 4 E4B на RTX 5090 и RTX PRO 6000 03:39 Обзор SSD Samsung 9100 Pro и материнской платы MSI A520M-A PRO 04:03 Сравнение узких мест AM4 PCIe и время загрузки 05:03 Обзор SoC, преимущества и недостатки 05:56 Заключение и заключение В этом видео: Тестирование 10 процессоров AMD для локального тестирования ИИ Ryzen 5 против Ryzen 7 против Threadripper PRO Бенчмарки NVIDIA RTX 5090 и RTX PRO 6000 Тестирование плотных моделей Gemma 4 E4B и Qwen Выполнение ИИ-выводов в однопользовательском и многопользовательском режимах Сравнение скорости генерации токенов Бенчмарки времени загрузки моделей ИИ Узкие места PCIe Gen 3 и производительность SSD Архитектура ЦП, тактовые частоты и кэш Дискретные графические процессоры против систем с унифицированной памятью AMD Ryzen AI Halo и локальные рабочие станции ИИ Основные выводы: В наших тестах ускоренная генерация токенов с помощью графического процессора показала очень незначительные различия между ЦП. Время загрузки моделей значительно варьировалось: более старый Ryzen 5 3600XT загружался значительно дольше, чем более новые процессоры. Пропускная способность PCIe, архитектура ЦП и ограничения платформы могут влиять на скорость подготовки и загрузки моделей. Пользователи, часто переключающиеся между моделями ИИ, могут получить больше пользы от более новых платформ ЦП, чем пользователи, постоянно работающие с одной моделью. Какие процессор и видеокарты вы используете для локального ИИ? Заметили ли вы какие-либо «узкие места» в вашей системе? Поделитесь своим мнением в комментариях! Не забудьте поставить лайк, подписаться и оставить комментарий #IWantAMicroCenterNearMe, если вы хотите увидеть Micro Center в своем городе! #microcenter #LocalAI #CPUvsGPU #RTX5090 #AMD #AIWorkstation #ai #consumertech #consumerelectronics #iwantamicrocenternearme