Как инференс поспевает за нашей ненасытной потребностью в токенах — Cerebras & Gimlet Labs

Google увеличил объем токенов с 480 триллионов до 3,2 квадриллионов в месяц. Вот все, что делает отрасль, чтобы не отставать. ДАЛЕЕ: САММИТ ПО РАЗРАБОТКЕ ИНЖЕНЕРОВ-ИНЖЕНЕРОВ В ОБЛАСТИ ИИ Присоединяйтесь к нам в Сан-Франциско на втором ежегодном саммите AIE CODE, который пройдет 10–12 ноября. Это наш последний флагманский саммит 2026 года. Прием заявок уже открыт: https://aie.codes Дэниел Ким из Cerebras и Мишель, соучредитель Gimlet Labs, объясняют, как вывод данных становится все быстрее и дешевле. Дэниел рассказывает о среде выполнения: почему декодирование ограничено памятью, разделение моделей между графическими процессорами, непрерывная пакетная обработка, кэширование ключ-значение, страничное внимание, кэширование подсказок и предварительное заполнение по частям. Мишель рассказывает о системном уровне: дезагрегация предварительного заполнения/декодирования, спекулятивное декодирование, дезагрегация внимания/FFN, многокристальное облако Gimlet и агент, который пишет оптимизированные ядра. В этом видео: • Почему декодирование ограничено памятью и насколько большим становится кэш ключ-значение • Объяснение страничного кэша ключ-значение, кэширования подсказок и предварительного заполнения фрагментами • Предварительное заполнение/декодирование, спекулятивная и дезагрегация внимания/FFN • Использование агентов для генерации оптимизированных ядер СПИКЕРЫ Даниэль Ким, руководитель отдела развития, Cerebras X: https://x.com/learnwdaniel LinkedIn:   / journeyer   Мишель, соучредитель, Gimlet Labs ССЫЛКИ Cerebras: https://www.cerebras.ai Gimlet Labs: https://gimletlabs.ai РАЗДЕЛЫ 0:00 Вступление 0:33 Взрывной рост спроса на токены 2:02 Авторегрессивное декодирование и узкое место памяти 2:37 Разделение моделей между графическими процессорами 3:27 Граница Парето скорости и пропускной способности 4:27 Пакетная и непрерывная пакетная обработка 5:22 Рост памяти в KV-кэше 6:11 Страничный KV-кэш 7:06 Кэширование подсказок 7:41 Предварительное заполнение против декодирования 8:36 Пошаговое предварительное заполнение для длинных контекстов 9:38 Системный уровень: рабочие нагрузки различаются 11:06 Разделение предварительного заполнения и декодирования 12:21 Пропускная способность памяти: Cerebras против H100 13:05 Cerebras и AWS Trainium 13:39 Многокристальное облако вывода Gimlet 14:28 Спекулятивное декодирование 17:01 Разделение внимания и FFN 18:25 Агенты, пишущие оптимизированные ядра 20:16 Агенты для кремниевых систем, компиляторов и операций Запись сделана на Всемирной выставке инженеров-ИИ 2026 в Сан-Франциско. Подпишитесь, чтобы получать больше докладов от инженеров, создающих системы с использованием ИИ. Инженер по искусственному интеллекту: https://ai.engineer YouTube:    / @aidotengineer   X: https://x.com/aiDotEngineer LinkedIn:   / aidotengineer   #LLMInference #AIInfrastructure #AIEngineer