Кэш KV за 15 мин

Я переделал видео:    • Give Me 20 Minutes, and the KV Cache Will ...   Не нравится звуковой эффект?:    • KV Cache in 15 min [No SFX]   Плейлист с обучающими материалами LLM:    • LLM Training by Zach   Текст: https://github.com/The-Pocket/PocketF... 0:00:00 - Проблема: Избыточные вычисления в механизме самовнимания 0:01:13 - Решение: KV-кэш 0:06:29 - От квадратичной O(T²) к линейной O(T) сложности 0:11:45 - Реализация кода: A Прямой проход с сохранением состояния 13:01 - Трассировка тензора: поток данных через кэшированный шаг Социальные сети: X: https://x.com/ZacharyHuang12 LinkedIn:   / zachary-h-23aa37172   Github: https://github.com/zachary62 Discord:   / discord   Medium:   / zh2408   Substack: https://zacharyhuang.substack.com/ Обо мне: 👋 Я Зак, исследователь в области ИИ в Microsoft Research AI Frontiers. В настоящее время я работаю над агентами и системами LLM. Это мой личный канал, где я делюсь уроками по созданию систем LLM. Я надеюсь, что эти учебные материалы станут обучающими данными для будущих агентов LLM, чтобы они могли разрабатывать лучшие системы для человечества еще долго после моей смерти. Предыдущий опыт: докторская степень в Колумбийском университете, лаборатория Gray Systems Lab в Microsoft, Databricks, стипендия Google для аспирантов.