DeepSeek раскрыла, как обрабатывает 155 трлн токенов в день

Компания DeepSeek открыла исходный код DeepInfer, механизма вывода, лежащего в основе её собственного API, вместе с подробным описанием того, как он обрабатывает DeepSeek V4.1 Flash в масштабе: 155 триллионов токенов в день с одного кластера. В этом видео мы прослеживаем один запрос через систему: токенизация deepseek-recipe и защита от внедрения подсказок, кэш ключ-значение, который DeepSeek хранит несколько дней (96% входных токенов попадают в кэш), предварительное заполнение и декодирование на разных машинах, экспертный параллелизм на более чем 64 графических процессорах, спекулятивное декодирование DSpark и вывод с инвариантностью к пакетам. Затем я тестирую deepseek-recipe и эффект пакетной обработки с нулевой температурой на своём Mac и объясняю, почему DeepInfer не будет работать на DGX Spark. DeepInfer (GitHub): https://github.com/deepseek-ai/DeepInfer deepseek-recipe (GitHub): https://github.com/deepseek-ai/deepse... Описание развертывания DeepSeek (на китайском): https://zhuanlan.zhihu.com/p/20955602... Перевод на английский (Latent Space): https://x.com/latentspacepod/status/2... Анонс DeepSeek: https://x.com/deepseek_ai/status/2112... Весы DeepSeek V4.1 Flash 1017: https://huggingface.co/deepseek-ai/De... Цены на API DeepSeek (попадание и промах кэша): https://api-docs.deepseek.com/quick_s... Связанные видео: Объяснение спекулятивного декодирования: DeepSeek DSpark:    • Speculative Decoding Explained: DeepSeek D...   Запуск модели размером 284 байта на 128 ГБ (DwarfStar):    • Run a 284B Model in 128 GB: DwarfStar Sele...   Разделы 00:00 DeepInfra 01:21 Основы предварительного заполнения и декодирования 03:07 Поток запросов и безопасность токенов 04:31 Кэширование ключ-значение и приемы предварительного заполнения 07:31 Декодирование в масштабе MoE и спекуляция 09:17 Пакетная инвариантность и реальные данные Ограничения 12:31 Практические тесты и основные выводы