Перейти к содержимому

Дорогие видеокарты для ИИ больше НЕ НУЖНЫ?

Агенты Романа

0:00 / 0:00

Дорогие видеокарты для ИИ больше НЕ НУЖНЫ?

10 785 просмотров · 17 ч назад
Агенты Романа
304 подписчика
10 785 просмотров · 17 ч назад
Strata: 125 миллиардов параметров на RTX 5070 с 12 ГБ видеопамяти. Откуда в тестах берутся 93 токена в секунду - и почему в другой таблице для той же карты указаны 4–6? Разбираемся в результатах Qwen и тестах DeepSeek. Разбираю, как Strata запускает большие локальные LLM на обычном ПК: смесь экспертов MoE, квантование, адаптивный кеш и предсказание токенов. На примере Qwen3.8-Flash-Next показываю, какую работу берут на себя GPU, процессор, оперативная память и SSD - и что происходит со скоростью, качеством и стоимостью всей системы. В основе разбора - документация проекта, опубликованные тесты разработчиков и отчёты пользователей. Если уже пробовали Strata, поделитесь в комментариях конфигурацией ПК, моделью, квантованием и скоростью в токенах/с. Особенно интересен опыт с 32 и 48 ГБ оперативной памяти. Таймкоды: 00:00 93 против 4 01:13 Видеокарта здесь не главный герой 01:55 Как засунуть 66 гигабайт в 12? 02:39 125 миллиардов параметров. Работают только шесть 03:30 Маленький стол и огромный склад 04:33 Теперь за оперативку придётся побороться 05:19 Процессор тоже участвует в игре 06:09 Зачем тут вообще SSD? 07:09 Нейросеть забегает вперёд собственного ответа 07:53 Несколько мелких операций - заметный прирост скорости 08:32 Почему 93 токена превращаются в четыре? 09:18 Сэкономили на видеокарте. Потратились на оперативку 09:59 Где Strata начинает спотыкаться 10:52 Скорость есть. А что с качеством? 11:49 Кому стоит попробовать Strata? 13:02 Что в итоге