Запустил модель 177B на SSD (Это быстро!) | Тест Qwen 3.8 Flash Next
Red Stapler
0:00 / 0:00
Запустил модель 177B на SSD (Это быстро!) | Тест Qwen 3.8 Flash Next
49 021 просмотр · 10 часов назад
Red Stapler
178 тыс. подписчиков
49 021 просмотр · 10 часов назад
Можно ли запустить огромную модель размером 177 байт на SSD? В этом видео я использую Qwen 3.8 Flash Next IQ4XS с диском объемом 85 ГБ на своей системе для обработки искусственного интеллекта (4060 8 ГБ + RTX 5060 Ti 16 ГБ + 32 ГБ ОЗУ). Мы посмотрим, сможет ли перенос встроенной таблицы n-грамм на NVMe SSD обеспечить приемлемую скорость работы.
Подписывайтесь на меня в X: https://x.com/redStapler_twit
** Моя портативная ПК-система для ИИ **
Процессор: https://amzn.to/3Lx52Vv
Видеокарта: https://amzn.to/3YWMPDS
Оперативная память: https://amzn.to/49l7vdD
Материнская плата: https://amzn.to/4poMEfp
Блок питания: https://amzn.to/4po6xU0
⏱️ ВРЕМЕННЫЕ МЕТКИ
00:00 - Вступление
00:28 - Архитектура Qwen 3.8 Flash-Next
01:06 - N-граммы и разгрузка SSD
01:38 - Флаги Llama.cpp
02:10 - Производительность
02:44 - Результат и заключительные мысли
#localai #qwen #ai