Разбор статьи по Deep Q-Learning: управление человеческого уровня через глубокое обучение с подкр...

Серия лекций по глубокому обучению в Торонто, 29 ноября 2018 г. Доклад: https://web.stanford.edu/class/psych2... Докладчик: Николай Погребняков Организатор: WeCloudData Дата: 29 ноября 2018 г. Управление на уровне человека посредством глубокого обучения с подкреплением Теория обучения с подкреплением предоставляет нормативное объяснение, глубоко укорененное в психологических и нейробиологических взглядах на поведение животных, того, как агенты могут оптимизировать свой контроль над окружающей средой. Однако для успешного использования обучения с подкреплением в ситуациях, приближающихся к реальной сложности, агенты сталкиваются с трудной задачей: они должны получать эффективные представления об окружающей среде из многомерных сенсорных входных данных и использовать их для обобщения прошлого опыта на новые ситуации. Примечательно, что люди и другие животные, по-видимому, решают эту проблему благодаря гармоничному сочетанию обучения с подкреплением и иерархических систем обработки сенсорной информации, причем первое подтверждается большим количеством нейронных данных, выявляющих заметные параллели между фазовыми сигналами, излучаемыми дофаминергическими нейронами, и алгоритмами обучения с подкреплением на основе временной разницы. Хотя агенты обучения с подкреплением достигли определенных успехов в различных областях, их применимость ранее ограничивалась областями, в которых полезные признаки могут быть созданы вручную, или областями с полностью наблюдаемыми низкоразмерными пространствами состояний. Здесь мы используем последние достижения в обучении глубоких нейронных сетей для разработки нового искусственного агента, названного глубокой Q-сетью, который может обучаться успешным стратегиям непосредственно из высокоразмерных сенсорных входных данных с использованием сквозного обучения с подкреплением. Мы протестировали этого агента в сложной области классических игр Atari 2600. Мы демонстрируем, что глубокий Q-сетевой агент, получающий на вход только пиксели и игровой счет, смог превзойти производительность всех предыдущих алгоритмов и достичь уровня, сопоставимого с уровнем профессионального тестировщика игр, на наборе из 49 игр, используя тот же алгоритм, архитектуру сети и гиперпараметры. Эта работа преодолевает разрыв между многомерными сенсорными входными данными и действиями, в результате чего был создан первый искусственный агент, способный научиться преуспевать в разнообразных сложных задачах.