Все методы обучения с подкреплением: просто о сложном! (PPO, DQN, A2C и другие)

Все основные алгоритмы обучения с подкреплением объяснены простым языком: Q-обучение, SARSA, DQN, IQN, TRPO, PPO, DRPO, A2C, A3C и многорукие бандиты. Никаких сложных терминов, никакой непонятной математики. Машинное обучение переполнено сложным жаргоном, и обучение с подкреплением — худший из его представителей. В дополнение к обычной терминологии машинного обучения, обучение с подкреплением добавляет сложную математическую нотацию, поскольку оно оптимизирует две случайные переменные одновременно: состояние и действие. Это видео разбирает все это и знакомит вас с наиболее популярными алгоритмами обучения с подкреплением, используемыми сегодня, показывая, что каждый из них делает на самом деле, зачем он существует и как он связан с другими. 📌 ЧТО РАССМОТРЕНО 🔹 Алгоритмы, основанные на ценности • Q-обучение • SARSA • DQN (Глубокая Q-сеть) • IQN (Неявные квантильные сети) 🔹 Алгоритмы, основанные на политике • TRPO (Оптимизация политики в области доверия) • PPO (Оптимизация политики вблизи точки опоры) • DRPO 🔹 Алгоритмы «актор-критик» • A2C (Актор-критик с преимуществом) • A3C (Актор-критик с асинхронным преимуществом) 🔹 Алгоритмы «многорукого бандита» • Многорукие бандиты и компромисс между исследованием и эксплуатацией ⏱️ ВРЕМЕННЫЕ МЕТКИ 00:00 Введение: Что такое RL? 00:58 Функция ценности 02:45 Обучение на основе ценности: Q-обучение 03:15 Обучение на основе ценности: SARSA 03:52 Обучение на основе ценности: DQN 04:51 Обучение на основе ценности: IQN 05:32 Градиенты политики 06:22 Обучение на основе политики: TRPO 07:07 Обучение на основе политики: PPO 07:43 Обучение на основе политики: DRPO 08:56 Актор-критик: A2C и A3C 10:17 Алгоритмы многорукого бандита ⚠️ ПРИМЕЧАНИЕ: В этом видео не рассматриваются все когда-либо созданные алгоритмы обучения с подкреплением. В нем основное внимание уделяется наиболее популярным и широко используемым сегодня алгоритмам, которые вы, скорее всего, встретите в статьях, курсах и реальных проектах. 👍 Если это помогло вам наконец-то понять суть обучения с подкреплением, поставьте лайк видео и подпишитесь на канал, чтобы получать больше объяснений машинного обучения без лишних сложностей. Оставьте комментарий с указанием алгоритма, который вы хотите увидеть в следующем видео! #ОбучениеСПодкреплением #МашинноеОбучение #ГлубокоеОбучение #PPO #QОбучение #ИИ #ГлубокоеОбучениеСПодкреплением