Обучение с подкреплением и средние поля игр в алгоритмической торговле — Себастьян Джаймунгал

Профессор Себастьян Джаймунгал из Университета Торонто выступит в Институте Алана Тьюринга с докладом о двух направлениях своих исследований в области алгоритмической торговли: обучении с подкреплением и играх среднего поля с различными убеждениями. Профессор Джаймунгал является директором профессиональной магистерской программы по финансовому страхованию на кафедре статистических наук, преподает в программе математических финансов Университета Торонто, а также в программах PhD и MSc на кафедре статистических наук. Он также является председателем рабочей группы SIAM по финансовой математике и инженерии. О мероприятии Часть 1: Обучение с подкреплением в алгоритмической торговле Обучение с подкреплением направлено на решение определенных задач стохастического управления без явных предположений о динамике окружающей среды или о влиянии действий агента на ее динамику. В этом докладе я представлю обзор двух подходов: (i) двойное глубокое Q-обучение и (ii) усиленные глубокие фильтры Калмана для алгоритмической торговли. Глубокое Q-обучение аппроксимирует функцию ценности действия с помощью нейронной сети и стремится решить уравнение Беллмана путем обучения, действуя в окружающей среде и обновляя параметры сети. С другой стороны, усиленные глубокие фильтры Калмана используют подход пакетного обучения с подкреплением и стремятся максимизировать вознаграждение напрямую, обучаясь скрытой модели и обновляя эту модель по мере поступления данных и действий агента. Будут показаны некоторые примеры результатов на реальных данных. Часть 2: Игры среднего поля с различными убеждениями для алгоритмической торговли Даже при работе с одними и теми же данными агенты часто расходятся во мнениях относительно модели реального мира. Здесь мы рассматриваем вопрос о том, как взаимодействующие гетерогенные агенты, которые расходятся во мнениях относительно того, какой модели следует реальный мир, оптимизируют свои торговые действия. Рынок имеет скрытые факторы, влияющие на цены, и агенты учитывают постоянное влияние, которое они оказывают на цены. Это приводит к большой стохастической игре, где критерии эффективности каждого агента вычисляются при различной вероятностной мере.