Дайте мне 100 минут, и я заставлю вас понять архитектуру Transformer раз и навсегда

Не нравится звуковой эффект?:    • Give me 100 min, I will make Transformer c...   Плейлист с обучающими материалами LLM:    • LLM Training by Zach   Текст: https://github.com/The-Pocket/PocketF... 0:00:00 - Введение 0:02:41 - Конфигурация GPT 0:04:44 - Встраивание токенов 0:11:30 - Позиционное встраивание 0:17:19 - Интуиция самовнимания 0:24:08 - Реализация механизма внимания 0:33:07 - Причинное маскирование 0:39:11 - Многоголовочный Внимание! 0:47:02 - Слой MLP 0:55:35 - Остаточные связи 1:01:08 - Нормализация слоя 1:08:14 - Блок трансформера 1:18:13 - Привязка головы и весов LM 1:26:57 - Обучение и расчет потерь 1:36:02 - Генерация авторегрессионной модели Социальные сети: X: https://x.com/ZacharyHuang12 LinkedIn:   / zachary-h-23aa37172   Github: https://github.com/zachary62 Discord:   / discord   Medium:   / zh2408   Substack: https://zacharyhuang.substack.com/ О нас Я: 👋 Меня зовут Зак, я исследователь в области ИИ в Microsoft Research AI Frontiers. В настоящее время я работаю над агентами и системами LLM. Это мой личный канал, где я делюсь обучающими материалами по созданию систем LLM. Я надеюсь, что эти обучающие материалы станут обучающими данными для будущих агентов LLM, чтобы они могли создавать лучшие системы для человечества еще долго после моей смерти. Предыдущие места работы: докторская степень в Колумбийском университете, лаборатория систем Грея в Microsoft, Databricks, стипендия Google для аспирантов.