Лекция 79 Mirage (MPK): Компиляция LLM в мегаядра

Доклад Мэнди Ву и Синьхао Чэна о Mirage. Mirage Persistent Kernel (MPK) — это компилятор и система выполнения, которая автоматически преобразует вывод LLM в единое мегаядро — объединенное ядро ​​GPU, выполняющее все необходимые вычисления и обмен данными в рамках одного запуска ядра. Такой комплексный подход к объединению GPU снижает задержку вывода LLM в 1,2–6,7 раза, при этом требуя минимальных усилий от разработчика. Репозиторий: https://github.com/mirage-project/mirage