Токенизация и эмбеддинги: как текст становится числами (BPE, word2vec, GloVe) | ЭП45

Любая языковая модель начинается с одной и той же проблемы: нейронные сети только умножают числа, а текст — это слова. EP45 открывает модуль 9 (обработка естественного языка) и показывает, как именно текст превращается в числа, сохраняющие смысл, — с реальными, проверенными результатами (а не слайдами). ✅ Токенизация слов, символов и субслов — и почему субслова победили ✅ Пошаговое отслеживание кодирования пар байтов (BPE) на реальном корпусе ✅ Сравнение WordPiece, SentencePiece и BPE на уровне байтов (GPT) ✅ Автоматический токенизатор Hugging Face — input_ids, [CLS], [SEP], padding, маски внимания ✅ word2vec — skip-gram, CBOW, отрицательная выборка + знаменитый king − man + woman ≈ queen ✅ GloVe — глобальная ко-встречаемость + предварительно обученные векторы в одной строке gensim ✅ Статические и контекстные встраивания — почему «банку» нужно больше одного вектора ✅ nn.Embedding — таблица поиска внутри каждого Transformer ✅ КЛЮЧЕВОЙ РЕЗУЛЬТАТ: реальные векторы GloVe, спроецированные в 2D с помощью PCA и t-SNE ⏱ ГЛАВЫ (вставьте точные временные метки из output/youtube_chapters.txt после рендеринга) 📌 В закрепленном комментарии содержится полное описание задачи из 10 пунктов + задание. 💻 Полный код + решение: github.com/CodeToAGI/deep-learning-series 🔔 72 эпизода — от нейронов до GPT. Следующий: Эпизод 46 Классификация текста с помощью трансформеров. #ГлубокоеОбучение #NLP #Токенизация #Встраивания #word2vec #GloVe #BPE #Трансформеры