Перейти к содержимому

Запустил Qwen3.8 27B на одной видеокарте 8 ГБ! (Лучше, чем ожидалось)

Red Stapler

0:00 / 0:00

Запустил Qwen3.8 27B на одной видеокарте 8 ГБ! (Лучше, чем ожидалось)

120 719 просмотров · 4 дня назад
Red Stapler
177 тыс. подписчиков
120 719 просмотров · 4 дня назад
Действительно ли можно запустить модель с 27 миллиардами параметров на бюджетной видеокарте? Недавно вышедшая Qwen 3.8 27B показывает отличные результаты в бенчмарках — даже превосходя Claude Opus 4.6 в тестах на программирование агентов, — но большинство рекомендуют для её запуска как минимум 24 ГБ видеопамяти. В этом видео я покажу, что произойдёт, если мы запустим Qwen 3.8 27B на одной 8-гигабайтной RTX 4060. Оптимизируем алгоритм квантования IQ4_XS и настроим облегчённый агент для Raspberry Pi. Затем сравним результат напрямую с Claude Opus 4.6. Подписывайтесь на меня в X: https://x.com/redStapler_twit 0:00 - Вступление 0:34 - Тест производительности Qwen 3.8 27B 1:08 - Конфигурация модели и настройка оборудования 2:31 - Тестирование и устранение неполадок 3:08 - Сравнение результатов и Opus 4:27 - Почему 3-битные кванты не сработали #localai #qwen #ai