Как работают ИИ-модели с триллионами параметров и как их обслуживать

Как создать и запустить модель ИИ с триллионом параметров? Подробный анализ на примере Kimi K3: от Stable LatentMoE и Attention Residuals до гибридных механизмов внимания KDA и MLA, а также способы их запуска в продакшене. Филип, автор книги «Инженерное проектирование вывода», беседует с Али и Брайсом из команды Baseten по производительности моделей. Они обсуждают три проблемы, которые решают модели с триллионом параметров, такие как Kimi K3, в таком масштабе: разреженность экспертных данных с помощью Stable LatentMoE, контекст в миллион токенов с помощью Attention Residuals и глубина с помощью гибридных механизмов внимания KDA и MLA. Али подробно рассказывает об истории механизма внимания: от внимания softmax и кэширования ключ-значение до линейного внимания, дельта-внимания и Kimi Delta Attention. Брайс рассматривает вывод: обучение модели на B300, тензорный и экспертный параллелизм, совместное управление кэшами MLA и KDA, дезагрегация и спекулятивное декодирование. Разделы 0:00 Введение 0:18 Что нового в Kimi K3 1:24 Почему разреженность экспертов нестабильна 3:23 Обслуживание 896 экспертов 4:16 Остаточные значения внимания и контекст 1M токенов 6:36 Обслуживание кэшей KV с миллионом токенов 8:06 История внимания 13:42 Кэширование KV 15:41 Узкое место пропускной способности памяти 17:41 Линейное внимание 25:00 Ограничения состояния фиксированного размера 28:28 Дельта-внимание 33:03 Почему линейное внимание не прижилось 34:41 Параллелизация дельта-внимания на тензорных ядрах 38:25 Вентилируемое дельта-внимание 40:03 Kimi Delta Attention (KDA) 41:24 Краткий обзор: от внимания softmax к KDA 42:22 Поддержка новой архитектуры 43:38 Подгонка 2,8 ТБ параметров на одном узле 46:50 Параллелизм тензоров и экспертов 50:14 Управление кэшами MLA и KDA 55:44 Контрольные точки состояния KDA 58:34 Дезагрегация и спекуляция 1:00:21 Спекулятивное декодирование с DFlash и DSpark 1:01:18 Заключение Ссылки Baseten: https://www.baseten.co/ Ветка Али об архитектуре Kimi K3: https://x.com/waterloo_intern/status/...