🚀 Qwen3.8 Flash-Next — 173 ток/с на 4× V100 | 128GB VRAM / 64GB RAM | 🧐 КАПРИЗНЫЙ КЛАДОВЩИК!?

⚡ Qwen3.8-Flash-Next — 170+ токенов/сек на 4× Tesla V100! 128GB VRAM, 256K контекста и MTP4! Но как заставить эту модель работать на компьютере всего с 64GB оперативной памяти, если штатный механизм 1Cat-vLLM упорно отказывается её загружать? 😳 В этом видео мы выясним, почему возникает эта ошибка, и я покажу, как обойти ограничение и запустить официальный NVFP4-чекпойнт Qwen3.8-Flash-Next от RadixArk — без увеличения объёма оперативной памяти! 🚀 А затем протестируем модель в Open WebUI и посмотрим, какую производительность выдают четыре Tesla V100 и насколько эффективно работает MTP4. 🔥 Все команды и готовый патч собраны в текстовой инструкции, чтобы вы могли без труда повторить всё это у себя. 💬 Друзья, если вам понравилось видео, поддержите канал подпиской и лайком! Спасибо, что вы со мной! 🤝 👇 Инструкция и патч Qwen3.8-Flash-Next-NVFP4 + MTP4: https://t.me/l2oot_AI/30 👇 Инструкция Qwen3.8-27B-NVFP4 + DFlash2: https://t.me/l2oot_AI/28 📢 Мой канал в Telegram: https://t.me/l2oot_AI 🔗 Ссылки: Проект 1Cat-vLLM на GitHub: https://github.com/1CatAI/1Cat-vLLM Исходный Pull Request (PR), на основе которого подготовлен патч: https://github.com/vllm-project/vllm/... NVFP4-чекпойнт Qwen3.8-Flash-Next от RadixArk: https://huggingface.co/RadixArk/Qwen3... Tesla V100 SXM2 32GB: https://www.wildberries.ru/catalog/45... PCB плата с NVLink на 4 карты SXM2 + Tesla V100 SXM2 32GB (1 шт.): https://www.wildberries.ru/catalog/10... 00:00 Это возможно 00:39 В этом выпуске 01:28 Распределение модели 03:16 Скачивание Qwen3.8-Flash-Next-NVFP4 03:59 Запуск падает с ошибкой 04:47 Капризный кладовщик 07:13 Решение найдено 07:57 Клонируем 1Cat-vLLM 08:32 Применяем патч и запускаем 09:06 Генерация конвертера ASCII Art 10:26 Генерация шутера 11:43 Итоги 12:24 Текстовая инструкция и патч 🎬 Обязательно к просмотру: ▶️ 🔥 Qwen3.8 — 384+ ток/с НА ХЛАМЕ?! 😱 | 4× Tesla V100 — 128GB VRAM | ПОЛНЫЙ ГАЙД    • 🔥 Qwen3.8 — 384+ ток/с НА ХЛАМЕ?! 😱 | 4× T...   ▶️ Заказал 4× Tesla V100 32GB SXM2 на Wildberries | 😱 Вот что приехало из Китая    • 🔥 Заказал 4× Tesla V100 32GB SXM2 на Wildb...   ▶️ 🔥 Tesla V100 32GB SXM2 в обычном ПК на Windows 10 | Настройка, тесты, скорость LLM, игры    • 🔥 Tesla V100 32GB SXM2 в обычном ПК на Win...   ▶️ 😱 Я поставил 2× Tesla V100 SXM2 32GB — и ПК НЕ ЗАПУСТИЛСЯ! | Что пошло не так?    • 😱 Я поставил 2× Tesla V100 SXM2 32GB — и П...   ▶️ ⚡ Tesla V100 — 27B НА ОДНОЙ КАРТЕ?! | Qwen3.6-27B-AWQ — ПОЛНЫЙ ГАЙД    • ⚡ Tesla V100 — 27B НА ОДНОЙ КАРТЕ?! | Qwen...   ▶️ 128GB VRAM — 4× V100 НА ВОДЕ 💧 | ВОДОБЛОКИ С СЮРПРИЗОМ 🤔    • 128GB VRAM — 4× V100 НА ВОДЕ 💧 | ВОДОБЛОКИ...   #TeslaV100 #Qwen38 #Qwen38FlashNext #RadixArk #NVFP4 #vLLM #1CatVLLM #SXM2 #LocalLLM #LocalAI #LLM #MTP #PLE #OpenWebUI