RNN и LSTM простыми словами: как машины научились запоминать

До появления ChatGPT машинам приходилось учиться запоминать — и это началось с рекуррентных нейронных сетей (RNN) и LSTM. В этом видео прослеживается путь от RNN к LSTM и трансформерам: проблема исчезающего градиента, три вентиля LSTM (забывание, вход, выход), реальные приложения (анализ настроений, перевод, прогнозирование временных рядов) и почему статья 2017 года «Внимание — это все, что вам нужно» привела к появлению трансформеров. ⏱️ Временные метки: 00:00 - Завязка: Почему машинам нужна память 00:59 - История RNN и LSTM 02:29 - Метафора блокнота 04:10 - Математика, лежащая в основе RNN 06:07 - От игрушечных примеров к реальным последовательностям (BPTT) 07:58 - Проблема исчезающего/взрывающегося градиента 10:10 - Решение LSTM: вентили 14:59 - Применение в реальном мире 20:42 - Пределы LSTM и появление трансформеров 23:36 - Заключение Список для просмотра:    • Gradient descent, Mini-batches & The noise...   Алгоритмы, информатика и ИИ - объяснено наглядно, без лишней информации. Новые видео каждую неделю. Нулевой указатель указывает в никуда. Этот канал рассказывает обо всём, что стоит понимать о том, как на самом деле работает код. Nullpoint разбивает алгоритмы, структуры данных, информатику и ИИ на понятные, наглядные объяснения, которые вы действительно запомните. От сортировки и Big-O до нейронных сетей и идей, лежащих в основе современного ИИ — мы пропускаем модные словечки и переходим к тому, как всё работает на самом деле. #RNN #LSTM #DeepLearning #Transformer #nullpointerror