Локальный ИИ: апгрейд старого ПК или покупка мини-ПК?
Coding Horizon
0:00 / 0:00
Локальный ИИ: апгрейд старого ПК или покупка мини-ПК?
425 просмотров · 9 часов назад
Coding Horizon
2,63 тыс. подписчиков
425 просмотров · 9 часов назад
Видеокарта с 8 ГБ памяти способна запустить полезную модель программирования. Рабочая станция с 128 ГБ памяти для ИИ вмещает гораздо больше, а RTX 5090 с 32 ГБ памяти обеспечивает более чем в шесть раз большую пропускную способность памяти на бумаге.
8 ГБ GPU могут запускать полезные модели программирования, но длительный контекст репозитория может вывести её за пределы возможностей. Видеокарта с 16 ГБ, видеокарта с 32 ГБ и рабочая станция с 128 ГБ унифицированной памяти решают разные задачи, и их файлы моделей не отражают всей картины. Проследите за тем, как один разработчик пытается отладить частный код, и посмотрите, что на самом деле меняется, когда ограничением становится скорость, память или совместимость. Окончательный выбор зависит от вашей машины и необходимой вам модели.
0:00 Вступление
0:31 Проблема с памятью в модели
1:48 Найдите уже имеющуюся у вас машину
3:19 Обновите системный блок, если это системный блок
4:35 Ноутбук — это совсем другая история
5:21 Новая машина с общей памятью
7:13 Миниатюрная рабочая станция для ИИ
9:08 Какая модель подходит для каждого уровня памяти
10:48 Бесплатное обновление
11:28 Решение
Смотрите дальше:
Два компьютера, сравниваемые в этом видео — • RTX 5090 vs DGX Spark (Local AI)
Что действительно хорошо работает на карте памяти 12 ГБ — • Local AI: Best Models On 12GB VRAM
Если бы ответом был Mac, то какой бы — • Mac Mini vs RTX 5090: Which For Local AI?
Источники и работа: https://codinghorizon.dev/upgrade-or-...
@CodingHorizon на X: https://x.com/CodingHorizon
Повествование синтезировано.