DeepSeek V4.1 Flash на Strix Halo: один узел с SSD против кластера из двух узлов (DwarfStar)

#Партнер_AMD. Это видео спонсируется компанией AMD. DeepSeek V4.1 Flash работает локально на AMD Strix Halo через движок DwarfStar, используя откалиброванный 2-битный GGUF от antirez. В разделе, посвященном архитектуре, рассматривается ее 552-миллиардная базовая архитектура, основанная на алгоритме «смешанных экспертов», 196-миллиардные таблицы энграмм, причинно-следственная схема кодировщика-декодера и алгоритм Compressed Sparse Attention v2. Тестируются два варианта развертывания: одна система Ryzen AI MAX+ 395 с 128 ГБ унифицированной памяти и потоковой передачей данных с SSD, и два хоста Strix Halo по 128 ГБ с весами основной модели, размещенными на обеих машинах по TCP или RoCE. С запросом на 65 000 токенов. Эта серия спонсируется компанией AMD. Временные метки 00:00 - Введение 03:27 - Причинно-следственный кодировщик-декодер 08:11 - Энграмма: Изменения по сравнению с Qwen 10:00 - Потоковая передача данных через память и SSD 11:09 - Запуск DeepSeek V4.1 Flash 12:17 - Производительность: Предварительное заполнение и декодирование 14:33 - Terminal Bench Mini 17:11 - DSpark и выводы Ссылки и ресурсы DeepSeek V4.1 Flash Официальная страница модели: https://huggingface.co/deepseek-ai/De... Технический отчет: https://huggingface.co/deepseek-ai/De... Antirez откалиброванный GGUF Файлы: https://huggingface.co/antirez/deepse... Реализация и настройка Запрос на слияние для реализации DwarfStar Strix Halo: https://github.com/antirez/ds4/pull/1036 Инструментарий Strix Halo DwarfStar: https://github.com/kyuz0/strix-halo-d... Панель инструментов AI Toolbox: https://github.com/kyuz0/ai-toolbox-c... Инструментарии и руководства Strix Halo: https://strix-halo-toolboxes.com Результаты Локальные тесты скорости LLM: https://local-llm-benchmarks.dev/ Terminal Bench Mini Результаты: https://kyuz0.github.io/terminal-benc... Оборудование и спонсоры AMD Ryzen AI MAX+ 395: https://www.amd.com/en/products/proce... AMD Ryzen AI Halo: https://www.amd.com/en/products/proce... Framework Desktop: https:// community.frame.work/t/introducing-the-framework-desktop/65008 Анонс AMD Ryzen Gorgon Halo от Advancing AI: https://x.com/AMDRyzen/status/2082179... AMD AI Developer Программа: https://developer.amd.com/ai-develope... Сообщество и поддержка Сообщество Strix Halo в Discord:   / discord   Этот канал — хобби-проект. Если вы хотите поддержать тестирование и обучающие материалы, вы можете купить мне кофе: https://buymeacoffee.com/dcapitella