Перейти к содержимому

Запустил модель 177B на SSD (Это быстро!) | Тест Qwen 3.8 Flash Next

Red Stapler

0:00 / 0:00

Запустил модель 177B на SSD (Это быстро!) | Тест Qwen 3.8 Flash Next

49 021 просмотр · 10 часов назад
Red Stapler
178 тыс. подписчиков
49 021 просмотр · 10 часов назад
Можно ли запустить огромную модель размером 177 байт на SSD? В этом видео я использую Qwen 3.8 Flash Next IQ4XS с диском объемом 85 ГБ на своей системе для обработки искусственного интеллекта (4060 8 ГБ + RTX 5060 Ti 16 ГБ + 32 ГБ ОЗУ). Мы посмотрим, сможет ли перенос встроенной таблицы n-грамм на NVMe SSD обеспечить приемлемую скорость работы. Подписывайтесь на меня в X: https://x.com/redStapler_twit ** Моя портативная ПК-система для ИИ ** Процессор: https://amzn.to/3Lx52Vv Видеокарта: https://amzn.to/3YWMPDS Оперативная память: https://amzn.to/49l7vdD Материнская плата: https://amzn.to/4poMEfp Блок питания: https://amzn.to/4po6xU0 ⏱️ ВРЕМЕННЫЕ МЕТКИ 00:00 - Вступление 00:28 - Архитектура Qwen 3.8 Flash-Next 01:06 - N-граммы и разгрузка SSD 01:38 - Флаги Llama.cpp 02:10 - Производительность 02:44 - Результат и заключительные мысли #localai #qwen #ai