NLP: Разбор 15: Трансформеры с нуля + Предобучение и трансферное обучение с BERT/GPT

ИСПРАВЛЕНИЕ: 00:34:47: правильно «каждый размер 12x4» Плейлист курса:    • Natural Language Processing Demystified   Трансформеры произвели революцию в глубоком обучении. В этом модуле мы подробно изучим их работу и создадим один с нуля. Затем мы рассмотрим, как использовать передовые модели для наших проектов с помощью предварительного обучения и трансферного обучения. Мы научимся тонко настраивать модели от Hugging Face и изучим возможности GPT от OpenAI. Попутно мы займемся новой задачей этого курса: ответами на вопросы. Блокнот Colab: https://colab.research.google.com/git... Временные метки 00:00:00 Трансформеры с нуля 00:01:05 Токенизация субслов 00:04:27 Токенизация субслов с использованием кодирования пар байтов (BPE) 00:06:53 Недостатки механизма внимания на основе рекуррентных моделей 00:07:55 Как работает механизм самовнимания 00:14:49 Как работает многоголовочный механизм самовнимания 00:17:52 Преимущества многоголовочного механизма самовнимания 00:18:20 Добавление позиционной информации 00:20:30 Добавление нелинейного слоя 00:22:02 Стековый кодировщик блоки 00:22:30 Работа с побочными эффектами с помощью нормализации слоев и пропускных соединений 00:26:46 Входные данные для блока декодера 00:27:11 Маскированное многоголовое самовнимание 00:29:38 Остальная часть блока декодера 00:30:39 [ДЕМО] Кодирование трансформера с нуля 00:56:29 Недостатки трансформера 00:57:14 Предварительное обучение и трансферное обучение 00:59:36 Семейства трансформеров 01:01:05 Как работает BERT 01:09:38 GPT: Языковое моделирование в масштабе 01:15:13 [ДЕМО] Предварительное обучение и трансферное обучение с Hugging Face и OpenAI 01:51:48 Трансформер — это «универсальный дифференцируемый компьютер» Это видео является частью курса «Обработка естественного языка: развенчание мифов» — бесплатного и доступного курса. О НЛП. Посетите https://www.nlpdemystified.org/ для получения дополнительной информации.