Десятая тема: теория игр — как обучение меняет конкуренцию и сотрудничество

В этом уроке мы рассмотрим, что происходит, когда несколько игроков неоднократно соревнуются и учатся на собственном опыте. Ранее мы изучали игры с нулевой суммой, где выигрыш одного игрока означает проигрыш другого. Однако ситуации в реальном мире часто отличаются. Игроки могут соревноваться, одновременно сотрудничая, и иногда все могут получить выгоду или понести потери вместе. Такие ситуации называются общими играми. Рассмотрим игру «Камень-ножницы-бумага». Когда оба игрока случайным образом выбирают камень, бумагу и ножницы с равной вероятностью, они достигают равновесия Нэша. Однако во время повторяющихся игр их стратегии могут постоянно меняться. Если один игрок часто выбирает камень, другой может ответить бумагой. Затем первый игрок может переключиться на ножницы. Даже несмотря на постоянные изменения стратегий, со временем могут выявляться закономерности. Это приводит нас к обучению без сожалений. Обучение без сожалений позволяет игрокам корректировать свои стратегии таким образом, чтобы их долгосрочные результаты были почти такими же хорошими, как при последовательном использовании лучшей фиксированной стратегии с самого начала. Но если все используют обучение без сожалений, обязательно ли они достигнут равновесия Нэша? В обычных играх ответ — нет. Вместо этого их долгосрочные результаты могут приближаться к более широкой концепции равновесия, называемой грубо коррелированным равновесием (ГКР). Грубо коррелированное равновесие означает, что ни один игрок не сможет улучшить свой ожидаемый выигрыш, заранее выбрав другую фиксированную стратегию. Чтобы понять это, рассмотрим модифицированную версию игры «Камень-ножницы-бумага», называемую игрой Шепли. В обычной игре «Камень-ножницы-бумага» ничья не приносит ни выигрыша, ни проигрыша. Но в этой версии, когда оба игрока выбирают одно и то же действие, они оба получают большой штраф. Если игроки независимо выбирают каждое действие с равной вероятностью, ничьи происходят регулярно. Однако благодаря многократному обучению игроки могут выработать коррелированные модели, которые уменьшают частоту ничьих, даже без прямого общения. В результате оба игрока могут достичь лучших средних результатов, чем при независимых стратегиях равновесия Нэша. Это показывает, что обучение без сожалений иногда может улучшить не только индивидуальную производительность, но и общее социальное благополучие. Теперь представьте две машины, приближающиеся к перекрестку. Каждый водитель должен решить, ехать или ждать. Если оба едут, они рискуют столкнуться. Если оба ждут, они теряют время. Наилучший скоординированный результат — это когда одна машина едет, а другая ждет. Благодаря многократному взаимодействию и обучению игроки могут выработать модели, в которых они меняются местами, улучшая общий результат. Это иллюстрирует, как конкуренция и обучение иногда могут приводить к сотрудничеству без явных соглашений. Еще одна важная концепция — это коррелированное равновесие (КР). В коррелированном равновесии игроки получают рекомендации по действиям. После ознакомления со своими рекомендациями у них нет стимула выбирать другое действие. Крупное коррелированное равновесие менее ограничительно. Оно требует лишь, чтобы игроки не могли улучшить свои ожидаемые выгоды, выбрав фиксированную альтернативную стратегию до получения какой-либо рекомендации. Следовательно, каждое коррелированное равновесие также является грубым коррелированным равновесием, но обратное не обязательно верно. Стандартное обучение без сожалений гарантирует, что долгосрочное распределение игры приближается к условиям грубого коррелированного равновесия, но не обязательно гарантирует сходимость к более строгим условиям грубого коррелированного равновесия. Эти принципы полезны в искусственном интеллекте, онлайн-рынках, управлении трафиком и распределении ресурсов. Когда несколько систем ИИ конкурируют и обучаются, их индивидуальные стратегии могут постоянно меняться. Тем не менее, их долгосрочное взаимодействие может приводить к стабильным моделям и иногда даже к результатам сотрудничества. Главный вывод ясен: Когда несколько игроков используют обучение без сожалений, они не обязательно достигают равновесия Нэша. Однако их долгосрочные результаты приближаются к грубому коррелированному равновесию, которое иногда может давать лучшие результаты для всех, чем равновесие Нэша. Теория игр помогает объяснить, как повторяющаяся конкуренция и обучение могут создавать новые формы равновесия и сотрудничества.