Рич Саттон, планирование и выбор действий в агентах на основе опций

Рич Саттон здесь, чтобы опровергнуть одно из самых больших заблуждений в области обучения с подкреплением. В своем докладе «Планирование и выбор действий в агентах, основанных на опционах» лауреат премии Тьюринга делает смелое заявление: при разработке ИИ никогда не следует «реализовывать» опцион до конца. Его следует только активировать. Почему? Потому что реальный мир непредсказуем. Неожиданные события требуют гибкости, чтобы отказаться от плана и мгновенно отреагировать. Хотя опционы бесценны для представления знаний и планирования на высоком уровне, Саттон утверждает, что брать на себя обязательства по ним — ошибка. Саттон углубляется в основные проблемы временной абстракции, ограничения традиционных методов планирования и глубокие теоретические связи между планированием и обучением. Он представляет новый способ мышления о том, как агенты должны вести себя в сложном, динамичном мире. Временные метки: 0:00 - Введение и смелое утверждение 3:05 - Опционы как механизм временной абстракции 8:47 - Общая модель интеллектуального агента 15:56 - Архитектура агента с множеством политик и функций ценности 23:50 - Общность всех методов планирования 30:14 - Ключевое различие между активацией и исполнением 37:59 - Пример «Самолета-шпиона»: практическое применение 44:04 - Исследование и внутреннее вознаграждение 46:52 - Глубоко иерархические политики и клавиатура опционов 49:37 - Заключение 50:00 - Вопросы и ответы #RichSutton #ReinforcementLearning #ArtificialIntelligence #AI #MachineLearning #TemporalAbstraction #OptionsFramework #SuttonBarto #DeepLearning #Research