Запуск DeepSeek V4 Flash на Strix Halo: ds4, квантование, распределенный инференс и тесты

#Партнер_AMD. Это видео спонсируется компанией AMD. Программа AMD для разработчиков ИИ ---------------------------------------------- Присоединяйтесь к программе AMD для разработчиков ИИ, чтобы получить бесплатные облачные кредиты, доступ к экспертам и премиальное обучение ИИ — все, что вам нужно для создания, оптимизации и масштабирования на платформах AMD. Начните разработку уже сегодня: https://www.amd.com/en/developer/ai-d... ---------------------------------------------- Обзор запуска DeepSeek V4 Flash локально на устройствах AMD Strix Halo, таких как Framework Desktop. Рассматривается использование выделенного механизма вывода ds4 (DwarfStar 4) и разработанного сообществом порта ROCm, который обеспечивает поддержку HIP для оборудования AMD. Подробный анализ проблем, связанных с размещением больших весов в унифицированной памяти, и решение проблем точности 2-битного квантования с помощью калибровки imatrix (матрицы важности). Данная конфигурация охватывает одноузловые системы с использованием Q2 и гибридных 4-битных уровней в рамках ограничения памяти в 128 ГБ, а также многоузловые кластерные конфигурации для выполнения полного 4-битного квантования на двух системах Strix Halo. Временные метки: 00:00 - Введение 01:37 - Первые опасения по поводу DS4 03:31 - Проект DS4 04:31 - Порт ROCm/Strix Halo 08:09 - Доступные квантизации 10:34 - Бенчмарки DS4 14:00 - SWE Bench Mini 18:08 - Настройка и вывод данных в DS4 25:24 - Многоузловой DS4 30:48 - Заключение Ссылки и ресурсы: Инструментарий и руководства Strix Halo: https://strix-halo-toolboxes.com Репозиторий проекта ds4: https://github.com/antirez/ds4 Поддержите меня, купив мне кофе: https://buymeacoffee.com/dcapitella