Топ вопросов NLP собеседований | трансформер, механизм внимания, берт | Часть 1

Секрет успешного трудоустройства - в дотошной подготовке к собеседованиям! Знание механизма внимания и трансформеров - база любых собеседований на все грейды в NLP! Содержание: Архитектура трансформера Механизм внимания Позиционные эмбеддинги Токенизация Трансформерные архитектуры (BERT, GPT и тд) Таймкоды: 00:00 Что вас ждет? 00:16 Приветствие 00:51 Что такое трансформер? 01:12 В чем отличие трансформера от других архитектур? Сравни с RNN и CNN 03:17 Как выглядит архитектура трансформера? Из каких частей состоит? 05:41 Как работает механизм внимания (attention)? 08:04 Какие виды attention бывают? 11:33 Где взять полезные материалы для более детального изучения информации? 11:52 Зачем нужны позиционные эмбеддинги? 12:31 Как работает позиционное кодирование? 13:02 Какие виды позиционного кодирования есть? 14:40 Какие виды токенизаторов есть? 15:15 Почему именно Byte-Level, почему нельзя по чарам разбивать? 16:08 Какие основные гиперпараметры токенизаторов есть? 17:49 Как можно расширить словарь? 18:35 Самый эффективный способ устроиться в NLP 19:11 Какие трансформерные архитектуры есть? 20:38 Что такое BERT? 23:01 Какие еще задачи может решать с помощью encoder моделей? 24:31 Что такое bi-encoder и cross-encoder? Когда какой вид использовать? 26:25 Как векторизовать тексты с помощью берта? 29:01 Какие еще разновидности берта знаешь? Конспект с разобранными вопросами: https://t.me/rockaux Разборы реальных собеседований и много полезного контента: https://boosty.to/lokis_alexandr Менторство "оффер под ключ", роадмап и консультация: https://sites.google.com/view/lokisml... личный тг: https://t.me/abletobetable