Как ИИ предсказывает слова: разбираем скрытые состояния LLM

Первая часть большого цикла, посвящённого архитектуре Transformer и принципам работы современных больших языковых моделей (LLM). Без лишней абстрактной философии — сразу переходим к математике: почему трансформеры выросли из рекуррентных сетей, как предложение разбивается на токены, зачем нужны скрытые состояния и как модель превращает матричные вычисления в вероятности следующего слова. Разбираем фундаментальную статью 2017 года («Attention Is All You Need»), пересобранную в подробный интерактивный конспект. Разбор ведётся в приложении papanda: 👉 https://github.com/Ruslan-Nazarov/pap... * * 00:00 — О цикле видео: разбираем статью 2017 года о трансформерах 01:05 — Пример: «Кошка сидит на пушистом тёплом ковре» и задача генерации 01:54 — От рекуррентных сетей (RNN) к трансформерам 02:22 — Приложение papanda и работа со сложными конспектами 03:14 — Токенизация и перевод слов в числовые векторы 04:10 — Зачем переводить текст в числа: математика изменений 05:22 — Векторное представление слов (эмбеддинги) 07:23 — Диалектический метод в структуре конспекта papanda 08:24 — Текущее слово, предыдущее слово и скрытое состояние 09:48 — Зачем нужно скрытое состояние: природа вероятностей в языке 12:35 — Инструменты papanda: скрытый текст, заметки и редакции 14:06 — Математические операции, матрицы и смещения (bias) 17:34 — Нелинейные функции активации (tanh): зачем они нужны 18:52 — Пошаговый расчёт на примере слова «кошка» 19:54 — Что такое логиты и как вычисляются вероятности 21:40 — Главный вывод: почему матрицы нельзя делать единичными и зачем нужно обучение 22:50 — Анонс следующего шага: блок 8 и обучение матриц * * Twitter https://x.com/Nazarov_Arch LinkedIn   / ruslan-nazarov-papanda   * * EdTech-программа papanda: 🧑‍💻https://papanda.kz/ Книги с диалектикой: 📕Понять Искусственный Интеллект https://ruslan-nazarov.github.io/hand... 📗Как выучить много иностранных языков https://ruslan-nazarov.github.io/hand...