Дорогие видеокарты для ИИ больше НЕ НУЖНЫ?
Агенты Романа
0:00 / 0:00
Дорогие видеокарты для ИИ больше НЕ НУЖНЫ?
10 785 просмотров · 17 ч назад
Агенты Романа
304 подписчика
10 785 просмотров · 17 ч назад
Strata: 125 миллиардов параметров на RTX 5070 с 12 ГБ видеопамяти. Откуда в тестах берутся 93 токена в секунду - и почему в другой таблице для той же карты указаны 4–6? Разбираемся в результатах Qwen и тестах DeepSeek.
Разбираю, как Strata запускает большие локальные LLM на обычном ПК: смесь экспертов MoE, квантование, адаптивный кеш и предсказание токенов. На примере Qwen3.8-Flash-Next показываю, какую работу берут на себя GPU, процессор, оперативная память и SSD - и что происходит со скоростью, качеством и стоимостью всей системы.
В основе разбора - документация проекта, опубликованные тесты разработчиков и отчёты пользователей.
Если уже пробовали Strata, поделитесь в комментариях конфигурацией ПК, моделью, квантованием и скоростью в токенах/с. Особенно интересен опыт с 32 и 48 ГБ оперативной памяти.
Таймкоды:
00:00 93 против 4
01:13 Видеокарта здесь не главный герой
01:55 Как засунуть 66 гигабайт в 12?
02:39 125 миллиардов параметров. Работают только шесть
03:30 Маленький стол и огромный склад
04:33 Теперь за оперативку придётся побороться
05:19 Процессор тоже участвует в игре
06:09 Зачем тут вообще SSD?
07:09 Нейросеть забегает вперёд собственного ответа
07:53 Несколько мелких операций - заметный прирост скорости
08:32 Почему 93 токена превращаются в четыре?
09:18 Сэкономили на видеокарте. Потратились на оперативку
09:59 Где Strata начинает спотыкаться
10:52 Скорость есть. А что с качеством?
11:49 Кому стоит попробовать Strata?
13:02 Что в итоге