Понимание причинного внимания или маскированного селф-аттеншена | Серия «Трансформеры для зрения»

Пошаговое объяснение причинно-следственного или маскированного самовнимания (используется в моделях GPT) В этой лекции из серии «Трансформеры для зрения» мы подробно рассмотрим одну из важнейших концепций в архитектуре трансформеров — причинно-следственное внимание, также известное как маскированное самовнимание. Эта лекция развивает ваше понимание механизма самовнимания и объясняет, как большие языковые модели, такие как GPT-2 и GPT-3, генерируют текст последовательно, токен за токеном, не заглядывая в будущее. Мы начнем с краткого обзора самовнимания, разберемся в назначении преобразований запроса, ключа и значения, а затем перейдем к тому, почему причинно-следственное маскирование необходимо в авторегрессивных моделях. Вы шаг за шагом увидите, как применяется маскирование, как отрицательная бесконечность предотвращает утечку данных и как регуляризация с помощью Dropout обеспечивает надежное обучение. К концу этой лекции вы получите четкое понимание: Почему маскирование необходимо в моделях типа GPT Как причинное внимание предотвращает утечку токенов в будущем Как функции softmax и отрицательная бесконечность работают вместе в вычислении внимания Как dropout помогает предотвратить переобучение в слоях внимания Как формируются контекстные векторы в причинной среде Эта лекция закладывает основу для понимания многоголовочного внимания, которое мы рассмотрим в следующем видео. 🔥 Две версии буткемпа Бесплатная версия (плейлист YouTube) – следите за всеми лекциями в последовательности на этом канале. Профессиональная версия (https://vision-transformer.vizuara.ai ) – включает в себя все возможности бесплатной версии, а также: Подробные рукописные конспекты (Miro) Закрытый репозиторий GitHub с кодом Закрытое сообщество Discord для сотрудничества и разъяснения вопросов Электронная книга в формате PDF по теме «Трансформеры для магистерских программ по визуальному и мультимодальному анализу» Практические задания с оценкой Официальный сертификат об окончании курса Поддержка по электронной почте от команды Vizuara 👉 Запишитесь на профессиональный курс здесь: http://vision-transformer.vizuara.ai/