Не покупайте видеокарту для локального ИИ, пока не увидите это (3090, P100, V100)
Morgans Code
0:00 / 0:00
Не покупайте видеокарту для локального ИИ, пока не увидите это (3090, P100, V100)
1 078 просмотров · 4 ч назад
Morgans Code
2,46 тыс. подписчиков
1 078 просмотров · 4 ч назад
Видеокарта Tesla P100 2016 года выпуска продаётся примерно за 150 долларов, однако её пропускная способность памяти HBM2 составляет лишь около 78% от пропускной способности подержанной RTX 3090. Может ли старая видеокарта для дата-центров быть более разумным решением для локального ИИ — или же дешёвая карта превращается в дорогой и шумный сервер после добавления остальной части системы?
Я сравниваю снятые с производства видеокарты NVIDIA Tesla и AMD Instinct для локального LLM-вычисления, включая Tesla P40, P100 и V100, а также AMD MI50. Ключевое сравнение — это пропускная способность памяти на доллар: P100 обходится примерно в 0,20 доллара за ГБ/с, в то время как RTX 3090 — около 1,70 доллара. Но чистая пропускная способность — это лишь часть решения. Я рассматриваю реальные запуски Qwen 3.8 27B, скорость обработки запросов, объём видеопамяти, охлаждение, энергопотребление и то, как долго современное программное обеспечение будет поддерживать эти старые карты.
Две видеокарты Tesla P100 с 16 ГБ оперативной памяти показали производительность 24,5 токена в секунду при использовании стандартного llama.cpp и 33,7 токена в секунду с патчами от сообщества при запуске Qwen 3.8 27B. Отдельный тест с RTX 3090 показал около 39 токенов в секунду на той же модели, но она принадлежала другому владельцу и имела другую конфигурацию. Полная рабочая станция с двумя P100, показанная в видео, обошлась примерно в 770 долларов без учета электроэнергии. Это пока проект для доработки: этим серверным картам может потребоваться дополнительное охлаждение, видеокарта или интегрированная графика, подходящие кабели питания, Linux и поддерживаемое сообществом программное обеспечение.
Я также проанализировал тест с четырьмя V100, который показал 322 токена в секунду при выполнении длительной задачи кодирования. Этот результат зависел от NVLink и спекулятивного декодирования; без NVLink та же конфигурация показала около 72 токенов в секунду. Это не является общей оценкой скорости для каждой системы V100.
Разделы
0:00 Tesla P100 за 150 долларов против RTX 3090 для локального ИИ
0:36 Четыре Tesla V100 работают с Qwen со скоростью 322 токена/с — с одним нюансом
1:34 Цены на Tesla P40, P100 и V100 в 2026 году
2:34 Лучший старый графический процессор для локального ИИ: цена за единицу пропускной способности памяти
3:59 Qwen 3.8 27B на P100, V100 и MI50
5:48 Реальная стоимость сборки с использованием подержанного графического процессора для дата-центра
7:38 Энергопотребление старых графических процессоров и ежемесячная стоимость электроэнергии
8:05 CUDA, ROCm и крайний срок поддержки программного обеспечения
9:51 Многопроцессорный ИИ: четыре MI50 и восемь V100
11:04 Вердикт: Какой подержанный серверный графический процессор вам следует купить?
Ключевые показатели
• Tesla P100 16 ГБ: пропускная способность памяти 732 ГБ/с; указана по цене около 150 долларов США на 30 октября 2026 года.
• Б/у RTX 3090: 24 ГБ видеопамяти и 936 ГБ/с; в скрипте используется медианная цена продажи в 1590 долларов США из 229 сделок. Это сравнение цены продажи с запрашиваемой ценой P100, а не сравнение двух аналогичных цен продажи.
• Цена за единицу пропускной способности памяти: около 0,20 доллара США за ГБ/с для указанной P100 против около 1,70 доллара США за ГБ/с для RTX 3090.
• Qwen 3.8 27B: две P100 показали 24,5 токена/с со стандартным llama.cpp и 33,7 с патчами сообщества; • Результат для отдельной видеокарты 3090 составил около 39 токенов/с
• Обработка запросов Tesla P40: около 152 токенов/с при запросе на 32 000 токенов, или примерно 211 секунд на обработку 32 000 токенов в этом отчетном запуске
• Рабочая станция с двумя P100: около 770 долларов США, используя оценки стоимости видеокарты, рабочей станции, системы охлаждения и видеокарты, приведенные в скрипте; цены указаны в прайс-листе и могут меняться
• Четыре V100: 322 токена/с в тесте NVLink проекта по сравнению с 72 без NVLink при выполнении конкретной задачи с длительным кодированием
• Изменение поддержки CUDA 13 от NVIDIA и статус поддержки ROCm от AMD означают, что совместимость программного обеспечения является ключевым фактором при принятии решения о покупке
Данные бенчмарков получены от авторов проекта, владельцев и сторонних тестов; они не измерялись на одной контролируемой системе для этого видео. Результаты Qwen 3.8 27B получены от разных владельцев, сборок и настроек. Результат с четырьмя видеокартами V100 специфичен для данной модели, длительной задачи кодирования, настройки спекулятивного декодирования и конфигурации NVLink. Цены на бывшие в употреблении видеокарты и рабочие станции указаны на основе данных, проверенных 30-31 октября 2026 года, если не указаны цены продажи; они могут измениться. Стоимость сборки в 770 долларов является приблизительной оценкой, а не полной сметой для каждого региона или конфигурации.
Вы бы собрали локальный сервер ИИ из бывших в употреблении видеокарт Tesla или Instinct или заплатили бы больше за более новую видеокарту? Напишите в комментариях, какую...