35-летняя история ChatGPT

Я прослеживаю 35-летний путь, который привёл к взрывному развитию больших языковых моделей. Этот документальный фильм рассказывает о том, как ИИ научился говорить, от пионерской работы Джордана в 1986 году до сегодняшней GPT-4. В нём представлены идеи пионеров ИИ, включая Хомского, Хофштадтера, Хинтона и Лекуна, а также рассматриваются революционные концепции, сделавшие ChatGPT возможным: архитектура преобразователя, механизм внимания, прогнозирование следующего токена и эмерджентные возможности. Следующее видео по модели O1 Open AI Мой сценарий, ссылки и визуализации здесь: https://docs.google.com/document/d/1s... Подпишитесь на мой канал YouTube:    / @artoftheproblem   Это часть серии «Машина шаблонов»:    • What is Deep Learning?   Тайм-коды: 00:00 — Введение 00:32 — Размышления Хофштадера о чате GPT 01:00 — Обзор обучения с учителем 01:55 — Первый Статья о последовательном обучении 02:55 — первое использование единиц состояний (RNN) 04:33 — первое наблюдение обнаружения границ слов 05:30 — первое наблюдение кластеризации слов 07:16 — первая «большая» языковая модель Хинтона/Суцкевера 10:10 — нейрон настроений (Илья | OpenAI) 12:30 — объяснение трансформатора 15:50 — GPT-1 17:00 — GPT-2 17:55 — GPT-3 18:20 — контекстное обучение 19:40 — ChatGPT / GPT-4 21:10 — использование инструментов 23:25 — философский вопрос: что такое мысль?