게임이론을 활용한 아홉 번째 주제: 두 사람이 학습하면 어떻게 내시 균형에 도달할까?

이번에는 두 사람이 서로 경쟁하면서 반복적으로 학습할 때, 어떻게 내시 균형에 가까워지는지 살펴보겠습니다. 핵심은 두 사람이 모두 후회 없는 학습을 사용하면, 오랜 기간 선택한 전략들의 평균이 내시 균형에 가까워진다는 것입니다. 가위바위보를 예로 들어 보겠습니다. 한 사람이 이기면 다른 사람은 지게 됩니다. 이렇게 한 사람의 이익이 다른 사람의 손실이 되는 게임을 제로섬 게임이라고 합니다. 만약 한 사람이 항상 바위만 낸다면 상대방은 보자기만 내서 쉽게 이길 수 있습니다. 따라서 상대방에게 자신의 행동을 예측당하지 않도록 전략을 바꾸는 것이 중요합니다. 그렇다면 두 사람이 모두 상대방의 행동을 관찰하고 자신의 전략을 계속 바꾸면 어떻게 될까요? 처음에는 한 사람이 바위를 많이 내고 다른 사람은 보자기를 많이 낼 수 있습니다. 하지만 게임이 반복되면서 서로의 선택에 대응하고 전략을 조정하게 됩니다. 여기서 중요한 것이 **후회 없는 학습(No-Regret Learning)**입니다. 후회 없는 학습이란 지금까지 실제로 선택한 전략과, 처음부터 가장 좋은 하나의 고정 전략을 계속 사용했을 때의 결과를 비교하면서 평균적인 후회를 줄여 나가는 방법입니다. 예를 들어 가위바위보를 천 번 했다고 생각해 봅시다. 게임이 끝난 뒤 처음부터 가위만 냈더라면, 바위만 냈더라면, 또는 보자기만 냈더라면 어떤 결과가 나왔을지 비교할 수 있습니다. 후회 없는 학습을 사용하는 사람은 이러한 비교를 통해 장기적으로 가장 좋은 고정 전략보다 크게 뒤처지지 않도록 학습합니다. 그런데 두 사람이 모두 이렇게 학습하면 놀라운 결과가 나타납니다. 두 사람의 평균적인 후회가 작아질수록, 각자가 지금까지 사용한 전략의 평균은 내시 균형에 가까워집니다. 내시 균형이란 상대방이 자신의 전략을 유지할 때, 어느 한 사람도 혼자 전략을 바꾸어 더 좋은 결과를 얻을 수 없는 상태입니다. 가위바위보에서는 가위, 바위, 보를 각각 3분의 1의 확률로 선택하는 것이 내시 균형입니다. 어느 한쪽도 상대방의 선택을 예측하여 지속적으로 이익을 얻을 수 없기 때문입니다. 여기서 반드시 이해해야 할 점이 있습니다. 마지막 게임에서 선택한 전략이 내시 균형이라는 뜻은 아닙니다. 중요한 것은 지금까지 사용한 전략들을 평균한 결과입니다. 예를 들어 마지막 게임에서 한 사람이 보자기를 선택할 확률이 매우 높더라도, 이전의 수많은 게임에서 가위와 바위도 충분히 선택했다면 전체 평균 전략은 균형에 가까울 수 있습니다. 또한 게임을 일정한 횟수만 반복했다면 정확한 내시 균형에 도달한다고 보장할 수는 없습니다. 이때는 **근사 내시 균형(Approximate Nash Equilibrium)**에 도달합니다. 두 사람의 평균 후회가 점점 줄어들어 0에 가까워지면, 평균 전략이 내시 균형에서 벗어나는 정도도 0에 가까워집니다. 이것이 중요한 이유는 복잡한 게임에서 내시 균형을 처음부터 직접 계산하기 어려울 수 있기 때문입니다. 하지만 두 사람이 각자 자신의 성과를 개선하도록 반복적으로 학습한다면, 균형 전략을 미리 알지 못하더라도 장기적인 평균을 통해 균형에 접근할 수 있습니다. 이러한 원리는 인공지능의 전략 학습, 사이버 보안, 경쟁적 의사결정 등에도 활용할 수 있습니다. 이번 주제의 핵심은 간단합니다. 두 사람이 서로 경쟁하면서 모두 후회 없는 학습을 사용하면, 개별 게임에서는 전략이 계속 바뀌더라도 장기적인 평균 전략은 내시 균형에 가까워집니다. 즉, 게임이론은 사람들이 처음부터 최적의 전략을 알지 못하더라도 반복적인 경험과 학습을 통해 균형에 접근할 수 있다는 사실을 보여줍니다.