Почему генерации слов недостаточно для настоящего ИИ?

Это прямое продолжение серии разборов архитектуры трансформеров. Если вы еще не смотрели предыдущую часть, начните с нее: Как ИИ учится на ошибках: математика предсказания слов    • Как ИИ учится на ошибках: математика предс...   В этом выпуске двигаемся дальше по нашему конспекту (блок 9) и разбираем критическое ограничение: почему подход «предложение как простая последовательность слов» неизбежно заходит в тупик при росте длины фразы, как затухает разница вероятностей в скрытых состояниях и к какому диалектическому переходу это приводит архитектуру LLM. * * 00:00 — Введение: логика развития модели трансформеров 01:03 — Блок 9: почему последовательности слов недостаточно 02:22 — Генерация токенов и скрытые состояния на практике 03:35 — Сравнение векторов и расчет вероятностей 04:20 — Сохраняет ли скрытое состояние структуру предложения? 06:02 — Численный эксперимент: почему теряется контекст 07:12 — Падение разницы вероятностей: затухание информации 08:17 — Главный вывод: почему скрытое состояние не справляется 09:18 — Диалектический переход: от части к целому смыслу * * Twitter https://x.com/Nazarov_Arch LinkedIn   / ruslan-nazarov-papanda   * * EdTech-программа papanda: 🧑‍💻https://papanda.kz/ Книги с диалектикой: 📕Понять Искусственный Интеллект https://ruslan-nazarov.github.io/hand... 📗Как выучить много иностранных языков https://ruslan-nazarov.github.io/hand...