Как игра в «заполни пропуски» научила ИИ читать | Объясняем BERT

«Ученый изучал клетку под микроскопом». Читайте слева направо, и «клетка» может означать тюремную камеру, клетку электронной таблицы или живую клетку. Подсказка «под микроскопом» идет после слова. Модель, работающая слева направо, такая как GPT, не может ее использовать. BERT может. BERT (Bidirectional Encoder Representations from Transformers) научился читать в обоих направлениях с помощью игры, которую вы уже знаете: заполни пропуски. Этот анимированный ролик шаг за шагом показывает, как работает BERT: моделирование языка с маскировкой (скрывает около 15% токенов и предсказывает их с обеих сторон), правило маскировки 80-10-10 и почему сетка внимания BERT заполнена, в то время как причинное внимание GPT заполнено только наполовину. Затем мы отслеживаем одно предсказание, «кот [МАСКА] на коврике», через векторные представления токенов, сегментов и позиций, а также все 12 слоев BERT-base, и сравниваем его с моделью, работающей слева направо, которая видит только «кота». Далее следует тонкая настройка: предварительно обученное тело с маленькими головами для классификации, ответов на вопросы и распознавания именованных сущностей. Завершаем результатами: новые лучшие показатели на бенчмарке GLUE, F1 93,2 на SQuAD 1.1 против базового показателя человека 91,2, BERT в поиске Google и модели, появившиеся после него: RoBERTa, DistilBERT, ALBERT и ModernBERT. Попутно мы ответим на следующие вопросы: • Почему модель, работающая слева направо, такая как GPT, не может использовать слова, идущие после нее? • Почему BERT заменяет только 80% скрытых слов на [МАСКА]? • Сколько новых параметров нужно, чтобы превратить BERT в классификатор настроения? Разделы 0:00 BERT 93.2 против человека 91.2 0:38 Слепое пятно при чтении слева направо 1:24 Заполните пропуски 2:06 BERT против GPT против ELMo 3:09 Как тренировать систему без обмана? 3:33 Маскированное языковое моделирование (MLM) 4:32 Правило маскирования 80-10-10 5:38 Пошаговое отслеживание одного предсказания 6:12 Встраивание токенов, сегментов и позиций 7:33 BERT против GPT: точные и плоские предсказания 9:04 Предварительное обучение один раз, тонкая настройка много раз 10:29 Ответы на вопросы и именованные сущности 11:37 Обзор бенчмарка GLUE 12:23 SQuAD 1.1: BERT против человеческого базового уровня 12:45 BERT в поиске Google 13:19 Устарел ли BERT? 13:58 RoBERTa, DistilBERT, ALBERT и ModernBERT 14:52 Тихая революция Полная серия: плейлист LLM Zero to Hero:    • LLM Zero to Hero Playlist   Источники: • BERT: Предварительное обучение глубоких двунаправленных трансформеров для понимания языка — Devlin et al. (2018): https://arxiv.org/abs/1810.04805 • Внимание — это все, что вам нужно — Vaswani et al. (2017): https://arxiv.org/abs/1706.03762 • Глубокие контекстуализированные представления слов (ELMo) — Peters et al. (2018): https://arxiv.org/abs/1802.05365 • GLUE: Многозадачная платформа для тестирования и анализа естественного языка — Ван и др. (2018): https://arxiv.org/abs/1804.07461 • SQuAD: Более 100 000 вопросов для машинного понимания текста — Раджпуркар и др. (2016): https://arxiv.org/abs/1606.05250 • Лучшее, чем когда-либо, понимание поисковых запросов — Google (2019): https://blog.google/products-and-plat... • Как ИИ делает Google более полезным — Google (2020): https://blog.google/products-and-plat... • RoBERTa: Надежно оптимизированный подход к предварительному обучению BERT — Liu et al. (2019): https://arxiv.org/abs/1907.11692 • DistilBERT, дистиллированная версия BERT — Sanh et al. (2019): https://arxiv.org/abs/1910.01108 • ALBERT: облегченная версия BERT для самообучения языковым представлениям — Лан и др. (2019): https://arxiv.org/abs/1909.11942 • Smarter, Better, Faster, Longer: современный двунаправленный кодировщик (ModernBERT) — Уорнер и др. (2024): https://arxiv.org/abs/2412.13663 О канале ML Visualized ведет бывший инженер по машинному обучению из FAANG, который снимает видео из своей спальни о том, как на самом деле работает современный ИИ. Каждое видео начинается с нулевой интуиции и покадрово, шаг за шагом, раскрывает реальную математику и архитектуру таких систем, как ChatGPT, Claude и Gemini. Никаких поверхностных объяснений. Никакого «это черный ящик». Именно такие подробные, детальные объяснения механизмов внимания, эмбеддингов, токенизации, тонкой настройки и RAG мне бы очень пригодились, когда я сам этим занимался. Создано с помощью Manim. Сделано с терпением. Если какой-то момент в этом видео вас зацепил, оставьте комментарий — именно комментарии вдохновляют меня на создание анимации. Подписывайтесь и включайте уведомления, чтобы получать больше визуализаций математических основ современного ИИ. #BERT #BERTExplained #MaskedLanguageModeling #BERTvsGPT #Transformer #NLP #LLM #DeepLearning #MLVisualized Пользовательские запросы: bert ​​explained bert ​​model explained what is bert bert ​​vs gpt how bert works ber...