범주론은 게임 이론을 다시 쓴다 (Compositional Game Theory 입문) ── 게임을 부품으로부터 조립하는 합성적 세계로:

이 기사는,

가상의 대학인 「권봉(圏峰) 공과대학교」의 연구실을 무대로 한 하나의 대화편입니다. 등장하는 인물은 게임 이론도 경제학도 접해본 적이 없는

학부생과, 범주론(Category Theory)·경제학 응용을 전문으로 하는 젊은 전임 강사 두 명입니다. 인물과 대학은 허구이지만, 다루는 내용(이론·논문·응용)은 모두 실재하는 연구에 기반하고 있습니다. 출처는 기사 끝에 정리했습니다.

상정 독자는,

고등학교 수학은 많이 잊어버렸지만, 매일 Python 코드를 읽고 쓰고 있는 엔지니어·데이터 사이언티스트·머신러닝 엔지니어·AI 리서처 여러분이며, 기존의 게임 이론을 전혀 배운 적이 없는 분들입니다. 어려운 용어는 처음 등장할 때 쉽게 풀어서 설명하겠습니다. 수식이 나와도 그냥 건너뛰며 읽어도 괜찮도록 작성했습니다.

**Compositional Game Theory (합성적 게임 이론)**은 「거대한 게임을 작은 부품으로부터 조립한다」는 발상으로, 게임 이론을 범주론(Category Theory)의 언어로 다시 쓰는 최근의 연구 영역입니다.

일반적인 게임 이론(Nash, Selten, Harsanyi 등의 고전)은 「하나의 게임」을 하나의 덩어리로 취급해 왔습니다.

이에 반해, 합성적 게임 이론은 게임을 「선택 + 관찰 + 문맥」이라는 플러그의 조합으로 파악하며, 플러그끼리 접속함으로써 거대한 경제 모델을 조립하는 것을 가능하게 합니다.

중심 인물은 Jules Hedges입니다.

Hedges 씨는 스코틀랜드 글래스고를 거점으로 하는 연구자로, 현재 자신이 공동 설립한 Institute for Categorical Cybernetics (CyberCat Institute)를 중심으로 활동하고 있습니다 (2024년 시점으로는 University of Strathclyde 겸임).

이 Hedges 씨가 2017년 박사 논문에서 제창한 **Open Games (열린 게임)**라는 개념이 합성적 게임 이론의 출발점입니다.

무엇이 새로운가:

• 대규모 게임(경매, 시장, 규제, AI 에이전트의 상호작용)을 레고 블록처럼 조립할 수 있음

• **Nash 균형 (Nash Equilibrium)**이 범주론적인 **부동점 (Fixed Point)**으로 재정의됨

• 메커니즘 디자인 (Mechanism Design) (경매 설계, 입찰 제도, 규제 설계)을 합성 가능한 부품으로 다룰 수 있음

• **AI 안전성, 멀티 에이전트 강화학습 (Multi-Agent Reinforcement Learning), 스마트 컨트랙트 (Smart Contract)**로의 응용이 진행 중임

Python 코드로 실제로 구동하는 구현도 이미 존재합니다 (Haskell의 open-games 라이브러리 등).

🔑 이 기사의 본질을 한 문장으로 말하자면:

소프트웨어 공학이 「거대 프로그램을 모듈화하는 기술」이었던 것처럼, Compositional Game Theory는 「거대한 전략 시스템을 모듈화하는 기술」로 볼 수 있습니다.

[IMG:1] 상단 그림: 소프트웨어 공학과 합성적 게임 이론의 대비

「모놀리식 (monolithic)」이란, 전체가 하나의 암석처럼 나뉘어 있지 않고 하나의 커다란 덩어리로 되어 있는 상태를 말합니다.

과거의 거대 프로그램이 함수·클래스·모듈·마이크로서비스와 같은 부품으로 분해되어 다루기 쉬워진 것처럼 (그림의 왼쪽 절반), 전통적인 게임 이론의 「통짜 게임」도 열린 게임·플러그화된 전략·합성적인 균형과 같은 부품으로 분해하는 것이 가능해집니다 (그림의 오른쪽 절반). 둘 다

「큰 것을 작은 부품으로부터 조립한다」는 동일한 정신을 공유하고 있습니다.

이 기사의 목적은 게임 이론을 처음 배우는 Python 프로그래머가 「왜 게임 이론을 범주론으로 다시 쓰면 좋은가」를 납득하는 것입니다.

이하, 대화 형식으로 그 구조와 의미를 천천히 풀어가겠습니다.

학부생:

선생님, 갑자기 핵심부터 여쭙겠습니다만 ── 「게임을 부품으로부터 조립한다」는 것이 구체적으로 무엇을 어떻게 한다는 건가요?

애초에, **「게임 이론」**이라는 것은 저는 이름만 들어본 정도입니다.

체스나 장기 같은 게임의 전략을 수학적으로 풀어 분석하는 분야, 정도의 이해입니다.

몇 번 전문 서적을 집어 들고 펼쳐본 적은 있지만, 어려워 보이는 수식들이 나열되어 있어서 당황했습니다.

강사:

일반적인 이미지는 그런 느낌일지도 모르겠네.

게임의 종류를 성질이나 문제 설정에 따라 세밀하게 분류하기 위해 전문 용어가 등장하거나, 언뜻 보기에도 어려워 보이는 수식이 인쇄되어 있는 것을 보고 거부감을 느껴 책이나 웹사이트를 닫아버린 사람도 많을 것이라 생각한다.

하지만 말이야, 사실 게임 이론의 '게임'은 체스나 쇼기(将棋)뿐만이 아니야.

경제학·경영학·정치학·생물학·인공지능 ── 이 모든 분야에서, "여러 플레이어가 각자 전략을 선택하고 결과가 결정되는" 상황을 다루는 수학적 도구가 바로 게임 이론이야.

학부생:

그건 예를 들면요?

강사:

구체적인 사례가 넘쳐나지.

기업 $A$와 기업 $B$가 가격을 어떻게 결정할 것인가 (과점 시장)

경매에서 입찰자가 얼마를 써낼 것인가 (경매 설계)

국가 $X$와 국가 $Y$가 군비를 늘릴 것인가, 줄일 것인가 (국제 관계)

자율주행차가 다른 차량과의 충돌을 피하기 위해 어떻게 움직일 것인가 (멀티 에이전트 AI)

광고주와 검색 엔진 사이의 광고 구좌 거래 (Google의 검색 광고는 매초 수백만 번의 게임이 진행되고 있어)

주식 시장에서의 매수자와 매도자의 전략 (고빈도 매매)

생물의 진화에 있어서 포식자와 피식자의 전략 (진화적으로 안정적인 전략, ESS)

이 모든 것을 게임 이론으로 다룰 수 있어.

학부생:

그렇게나 넓군요.

강사:

그렇단다.

광고 경매나 고빈도 매매 같은 것도 있어.

그 이야기는 이 기사에서도 응용 사례로 다룰 거야.

학부생:

**경제학, 경영학, 정치학, 생물학, 인공지능에 더해 광고 경매와 고빈도 매매까지…….

헤에. 게임 이론은 어렵고 멀게만 느껴지는 존재라고 생각했는데, 우리 일상생활과 상당히 가까운 존재였군요.

두 가지 궁금한 점이 생겼습니다.

첫 번째는 —— 강화학습(Reinforcement Learning)이나, 심층 신경망(Deep Neural Network)으로 강화학습 태스크를 해결하는 심층 강화학습(Deep Reinforcement Learning)이 로봇 제어나 LLM의 답변 정확도 향상, 추천 엔진에 채택되고 있는 것은 유명합니다.

그렇다면 게임 이론이나, 지금 대학에서 이수하고 있는 운영 과학(Operations Research, OR)은 산업계에서 실제로 사용되고 있나요?

아니면 일부 대학 연구자들이 논문을 쓰기 위해서만 연구하는, 실무계에서는 별로 관심을 두지 않는 '상아탑'의 분야인가요?

두 번째는 —— 이러한 응용 분야에 게임 이론을 적용했을 때, 기존의 게임 이론과 범주론(Category Theory)을 도입한 합성적 게임 이론(Compositional Game Theory) 사이에서 응용 범위는 어느 정도나 달라지나요?

지금 단계에서, 우선 이 두 가지를 전체적인 모습(전체상)을 파악하기 위해 먼저 알고 싶습니다.

강사:

좋은 질문이야. 전체상을 파악하기에 딱 적절한 두 가지라고 생각해.

순서대로 답해주지.

먼저 첫 번째 질문부터. ── 실무계에서 정말 사용되고 있는가, 아니면 상아탑인가?

결론부터 말하자면, 게임 이론도 운영 과학(OR)도 산업계에서 활발하게 사용되고 있어.

오히려 OR은 네가 생각하는 것 이상으로 '현장의 도구'야.

예를 들어 물류 대기업인 UPS는 배송 경로를 최적화하는 ORION이라는 시스템을 OR과 머신러닝(Machine Learning)으로 구축했지.

약 10억 달러를 투입하여 미국 전역의 5만 대가 넘는 트럭에 전개했고, 연간 약 1억 마일의 주행 거리와 3~4억 달러의 비용을 절감하고 있어.

그 외에도 항공사의 승무원 스케줄링, 공장의 생산 계획, 재고 관리, 수익 관리(다이내믹 프라이싱, Dynamic Pricing) ── OR은 이러한 '대규모이며 최적화가 효과적인 의사결정'의 중추야.

결코 논문을 위한 학문이 아니란다.

게임 이론도 마찬가지로 실용되고 있어. 다만 사용되는 방식에 약간의 차이가 있지.

경매 설계:

미국의 전파(주파수) 경매는 게임 이론가인 Paul Milgrom과 Robert Wilson 등의 설계가 토대이며, 두 사람은 이 업적으로 2020년 노벨 경제학상을 받았어. Google의 검색 광고와 같은 온라인 광고 경매도 게임 이론(세컨드 프라이스 방식, Second-price auction)의 응용이야.

매칭:

Alvin Roth은 장기 기증자와 장기 이식이 필요한 환자를 연결하는 신장 기증자 매칭 메커니즘을 게임 이론과 매칭 이론으로 설계하여 실제 이식 건수를 늘렸어(2012년 노벨 경제학상).

전공의 배정이나 학교 선택에도 동일한 이론이 사용되고 있지.

보안:

공항이나 항만에서 순찰·검사 배치를 "상대의 허를 찌르는 게임"으로서 최적화하는 *보안 게임 (Security Game)*도 실제로 운용되고 있다.

다만, 솔직하게 말해두자.

**게임 이론 (Game Theory)**은 제도나 규칙을 "설계"하는 도구로서는 매우 강력하다 (경매나 매칭이 바로 그것이다).

반면, 복잡한 현실의 수 싸움 결과를 "예측"하는 도구로서는, 전제를 지나치게 단순화한다는 비판도 뿌리 깊다.

그러므로, 만능 예언기는 아니다.

설계에는 강하고, 예측에는 신중하게, 라는 것이 현장의 감각에 가깝다.

다음은 두 번째 질문이다.

── 기존의 게임 이론과 합성적 게임 이론 (Compositional Game Theory) 사이에서, 응용 범위는 어느 정도나 달라지는가.

응용할 수 있는 "분야" 그 자체는 거의 같다.

경매, 시장, 규제, 멀티 에이전트 AI (Multi-agent AI)

── 합성적 게임 이론 역시 그 응용처는 전통적인 게임 이론과 겹친다.

차이가 발생하는 지점은 "게임 이론의 모델 (경제 모델·전략 모델)을 만드는 방식" 쪽이다.

아까의 모놀리식 (Monolithic) 도표를 떠올려 보라.

**전통적인 게임 이론이 "하나의 통째로 된 게임을 매번 제로 베이스에서 새로 써 내려가는 것"**에 반해, 합성적 게임 이론은 "부품 (Plug)을 조합하여 커다란 모델을 조립하며, 일부를 교체하더라도 전체를 다시 만들 필요가 없다".

즉, 응용의 "범위"를 넓힌다기보다, 대규모 모델을 "다루기 쉽고 유지보수하기 쉽게" 만드는 개량이라고 생각하면 된다.

그리고 한 가지 더 솔직히 말하자면, 합성적 게임 이론은 아직 연구 단계다.

지금 이 순간, 실무계에서 움직이고 있는 것은 대부분 전통적인 게임 이론과 OR (Operations Research)이다.

합성적 게임 이론이 "만드는 방식"을 바꾼 끝에 어떤 새로운 응용이 열릴 것인가 ── 그것은 앞으로 10년에서 20년에 걸쳐 보일 이야기다.

그리고 방금 운영 과학 (OR, Operations Research) 이야기가 나왔지.

OR은 그 자체로 거대한 테마다.

오늘은 깊이 들어가지 않겠지만, 다시 원고를 정리하여 다른 기회에 이 대화편에서 심도 있게 논의하도록 하자.

선형 계획 (Linear Programming), 조합 최적화 (Combinatorial Optimization), 대기 행렬 (Queueing Theory), 재고 관리 (Inventory Management) ── 모두 엔지니어의 실무와 직결되는 화제니까.

다만, **딱 한 가지 "예고편"**을 말해두자면 ── OR과 범주론 (Category Theory) 사이에도 분명한 연결 고리가 있다.

최근의 **응용 범주론 (Applied Category Theory)**에서는 최적화 문제 그 자체를 "부품으로부터 조립하는" 연구가 진행되고 있다.

핵심은 **하이퍼그래프 범주 (Hypergraph Category)**나 **장식된 코스팬 (Decorated Cospan)**이라 불리는 도구들이다.

이것들을 사용하면 전기 회로나 역학계와 마찬가지로, 최적화 문제를 "입력과 출력을 가진 열린 부품 (Open Objective)"으로 나타내고, 그것들을 배선도처럼 연결하여 거대한 최적화 문제를 조립할 수 있다.

더욱 흥미로운 점은, 그 프레임워크 안에서 경사 하강법 (Gradient Descent)이 부품의 합성(Composition)과 정합하는 "함자 (Functor)"로 정식화될 수 있음이 밝혀졌다는 것이다.

각 부품을 최적화하고 그것을 합성하면 전체의 최적화가 된다.

── 이는 오늘 내내 이야기해 온 합성적 게임 이론의 "플러그를 조립하는" 발상과 완전히 같은 정신이다.

학부생:

게임 이론뿐만 아니라 최적화 그 자체까지 "부품으로부터 조립하는" 흐름이 있군요!

강사:

그렇다.

"거대한 것을 작은 부품으로부터 배선도처럼 조립한다" ── 응용 범주론이라는 거대한 지형 위에서는 게임 이론도, 최적화도, 머신러닝 (Machine Learning)도 같은 언어로 이야기되기 시작하고 있다.

그렇기에 OR 이야기도 언젠가 이 대화편에서 다룰 가치가 있다.

다만 이것도 합성적 게임 이론과 마찬가지로 아직 연구 단계의 이야기다.

오늘은 "그런 지평이 존재한다"는 것만 기억해 두어라.

학부생:

알겠습니다.

OR은 다음에 다시.

이번에는 게임 이론과 범주론이 만나 열어젖히는 "합성적 게임 이론"에 집중하고 싶습니다.

하지만 형에게도 이 화제를 던져보고 싶어서 ── OR과 범주론의 융합 영역에 대해 대표적이고 epoch-making한 "읽어야 할 논문"을 몇 가지 알려주실 수 있을까요?

강사:

좋은 자세다.

형과 논의할 생각이라면 더욱더 출처가 명확한 편이 좋다.

다만, 미리 솔직하게 말해두겠다.

"OR × 범주론"은 아직 매우 젊은 영역이다.

게임 이론에서의 Nash 1950과 같이, 누구나 인정하는 역사적인 금자탑이 이 교차점에 이미 존재한다고까지는 말할 수 없다.

그러니 지금부터 언급하는 것은 '금자탑'이라기보다, 이 분야의 입구와 토대가 되고 있는 대표적인 논문들이라고 받아들여 주길 바란다.

Brendan Fong & David I. Spivak, An Invitation to Applied Category Theory: Seven Sketches in Compositionality (Cambridge University Press, 2019 / arXiv:1803.05316)

응용 범주론 (Applied Category Theory) 전체의 입문서.

전기 회로나 네트워크를 '부품으로부터 조립하는' 이야기를 최소한의 전제로 읽을 수 있다. OR (Operations Research) 이야기로 들어가기 전의 지반을 다지는 데 최적이다.

John C. Baez & Brendan Fong, A Compositional Framework for Passive Linear Networks (Theory and Applications of Categories 33, 2018 / arXiv:1504.05625)

전기 회로를 '입력과 출력을 가진 부품'으로서 범주 (Category)로 나타내고, 내부 구조는 잊은 채 외부의 동작만을 남기는 '블랙박스 함자 (Black-box Functor)'를 정식화한 논문.

후속 연구인 '최적화를 부품으로부터 조립하는' 연구의 발상적 원류 중 하나다.

Tyler Hanks, Matthew Klawonn, Matthew Hale, Evan Patterson, James Fairbanks, A Compositional Framework for First-Order Optimization (arXiv:2403.05711, 2024)

이것은 형님에게 가장 와닿을 것이다.

최적화 문제 그 자체를 오페라드 (Operad)로 계층적으로 합성하고, 경사 하강법 (Gradient Descent)이나 Uzawa 법과 같은 해법을 '대수적 사상 (Algebra Morphism)'으로서 도출한다.

논문 속에서 **최소 비용 네트워크 유량 문제 (Minimum Cost Network Flow Problem)**를 예로 들어, 분산적인 분해 알고리즘을 자동으로 생성해 보인다.

OR의 고전적인 문제가 제대로 범주론의 도마 위에 올라와 있는 사례다.

Julia 패키지인 AlgebraicOptimization.jl로 구현도 공개되어 있다.

Andrea Censi, Uncertainty in Monotone Co-Design Problems (arXiv:1609.03103, 2017)

로봇 등의 설계를 '기능·자원·비용의 단조로운 관계'를 가진 부품의 합성으로 파악하여, 최적의 설계를 구하는 프레임워크.

엔지니어링 설계 최적화에 범주론을 도입한 대표적인 사례다.

Gioele Zardini의 박사 논문 (ETH Zürich, 2023)이 이를 자율 주행 및 모빌리티 시스템으로 구체적으로 전개하고 있다.

Brendan Fong, David Spivak, Rémy Tuyéras, Backprop as Functor: A Compositional Perspective on Supervised Learning (LICS 2019 / arXiv:1711.10455)

경사 기반 학습 (Gradient-based Learning) ── 이것도 최적화의 일종이다 ── 을 함자 (Functor)로서 정식화한, 범주론적 기계 학습의 출발점과 같은 논문.

OR과 기계 학습이 '최적화'라는 공통분모를 통해 범주론적으로 연결됨을 볼 수 있다.

학부생:
감사합니다! 이 정도면 형님이랑 이야기할 수 있을 것 같아요.

강사:
응.

모두 arXiv에서 무료로 읽을 수 있어.

다만, 반복해서 말하지만, 이 교차점은 아직 지도가 그려지고 있는 단계다.

'확립된 연구 영역'으로서가 아니라, '연구의 최전선'으로서 읽는 것이 적절하다.

학부생:
그렇군요.

"이미 널리 사용되고 있는 것은 전통적인 게임 이론과 OR이고, 합성적 게임 이론은 그 '만드는 방식'을 바꾸려는 새로운 도전" ── 그런 지도군요.

그런데 그 '전통적인 게임 이론'은 애초에 어디서 시작된 건가요?

강사:
게임 이론은 20세기 중반에 John von Neumann과 Oskar Morgenstern (1944년의 『Theory of Games and Economic Behavior』)이 체계화한 이래, 현대 경제학·사회과학·AI의 핵심 언어 중 하나가 되었다.

John Nash(1950년대, Nash 균형), Reinhard Selten(부분 게임 완전 균형), John Harsanyi(불완전 정보 게임)가 1994년에 노벨 경제학상을 수상했다.

그 후로도 Roger Myerson, Eric Maskin, Leonid Hurwicz(2007년, 메커니즘 디자인), Alvin Roth, Lloyd Shapley(2012년, 매칭 이론) ── 노벨 경제학상의 단골 분야다.

학부생:

노벨상의 단골 분야인가요?

강사:

하지만, 여기서부터가 오늘 본론이다.

전통적인 게임 이론에는 어떤 구조적인 한계가 있다.

학부생:

한계라니요?

강사:

전통적인 게임 이론은 "게임"을 하나의 완성된 덩어리로 취급해 왔다.

예를 들어, 기업 A와 기업 B가 가격을 경쟁하는 게임을 생각할 때, 전통적인 접근 방식으로는,

• 플레이어의 리스트
• 각 플레이어의 전략 집합
• 각각의 전략 조합에 대한 보수 (payoff)

이것들을 한꺼번에 모두 기술한다.

그리고 그 전체 안에서 Nash 균형 등을 계산한다.

학부생:

그게 왜 문제가 되나요?

강사:

작은 게임이라면 그것으로 충분하다.

하지만 현실의 경제 시스템을 생각해 봐라.

• 수백만 개의 기업
• 수억 명의 소비자
• 정부의 규제
• 금융 시장
• 국제 무역
• 환경에 미치는 영향

이 모든 것을 하나의 거대한 게임으로 기술할 수 있다고 생각하나?

학부생:

불가능합니다. 너무 복잡해요.

강사:

그렇다. 그래서 전통적인 게임 이론에서는 각 상황마다 별개의 작은 모델을 만들어 각각을 분석해 왔다.

"기업 $A$와 기업 $B$의 경쟁 모델"

"경매 모델"

"규제 모델"

── 개별적으로 따로따로 말이다.

그런데 현실은 이 모든 것이 연결되어 있다.

기업의 경쟁은 경매를 통해 광고를 구매함으로써 관여하며, 규제가 양쪽 모두를 제약한다.

전통적인 게임 이론은 이러한 모델들을 "조합하는 것"에 서툴다.

학부생:

모델과 모델을 연결할 수 없다는 거군요.

강사:

그래서 등장하는 것이 오늘의 주인공 ── Compositional Game Theory (합성적 게임 이론) 이다.

**"게임을 작은 부품(플러그)으로부터 조립한다"**는 발상이다.

각 플러그에는 입력과 출력이 있으며, 플러그끼리 연결함으로써 거대한 게임을 조립할 수 있다.

학부생:

프로그래밍의 함수 합성 (function composition) 같네요. 작은 함수를 조합하여 큰 처리를 만드는 것처럼요.

강사:

정확히 그렇다.

Python에서 result = h(g(f(x)))라고 쓰는 것처럼, 게임도 $game = h \circ g \circ f$라고 쓸 수 있다.

각 $f, g, h$는 "플레이어가 선택하고, 관찰하고, 결과를 출력하는" 게임의 부품이다.

이것들을 합성하면 더 큰 게임이 된다.

학부생:

그게 범주론 (Category Theory)과 관계가 있나요?

강사:

깊게 관계한다.

범주론은 "부품을 합성하는 것"에 관한 수학이기 때문이다.

부품(대상, Object)과 합성 규칙(사상(Morphism)과 합성 연산) ── 이것이 범주론의 핵심이다.

따라서 게임을 부품으로 다루려고 하면 자연스럽게 범주론의 언어가 나타난다.

그리고 이것을 처음으로 엄밀하게 정립한 것이 Jules Hedges의 박사 학위 논문(2017년, Queen Mary University of London)이다.

학부생:

Jules Hedges 씨, 처음부터 등장한 핵심 인물이군요!

강사:

Hedges 씨는 글래스고의 University of Strathclyde에 있는 Mathematically Structured Programming (MSP) 그룹에서 연구를 진행해 왔으며, 현재는 직접 공동 설립한 **Institute for Categorical Cybernetics (CyberCat Institute)**를 중심으로 활동하고 있는 연구자다.

이 연구자는 Neil Ghani(Strathclyde 대학교), Viktor Winschel(Mannheim University 경제학), Philipp Zahn(St. Gallen University 경제학) 등과 공동으로 Open Games(열린 게임)라는 개념을 체계화했다.

논문으로는 Neil Ghani, Jules Hedges, Viktor Winschel, Philipp Zahn, Zahn (2018) "Compositional game theory." LICS 2018이 있다.

참고로, LICS는 Logic in Computer Science라는 국제 회의의 명칭이다. 기억해 두면 좋다.

컴퓨터 과학(Computer Science) 분야 논리학의 최고 권위 국제 회의이기 때문이다.

학부생:

LICS, 들어본 적 있습니다.

Coq이나 유형 이론 (Type Theory) 논문이 나오는 회의죠?

강사:

그렇다.

경제학 논문이 컴퓨터 과학 논리학 국제 회의의 논문 심사(Peer Review)를 통과했다.

── 이것이 Compositional Game Theory의 독특한 위치를 상징한다.

경제학, 컴퓨터 과학, 그리고 범주론적 논리학(Categorical Logic)의 딱 그 교차점에 있다.

학부생:

이 Compositional Game Theory는 Hedges 씨가 혼자 연구하고 있는 건가요?

강사:

아니, 그렇지 않다.

출발점은 Hedges의 박사 학위 논문이지만, 첫 번째 본격적인 논문(LICS 2018)부터가 Neil Ghani, Viktor Winschel, Philipp Zahn과의 4인 공저다.

그 후로도 Joe Bolt, Matteo Capucci, Bruno Gavranović, Jérémy Ledent, Fredrik Nordvall Forsberg와 같은 연구자들이 확률 버전, 반복 게임 버전, 범주론적 사이버네틱스(Categorical Cybernetics)로의 확장 등을 차례로 발표하고 있다.

연구 거점도 하나가 아니다.

Hedges 등의 CyberCat Institute,

Strathclyde 대학교의 MSP 그룹,

응용 중심의 그룹인 20squares,

여기에 Oxford나 St. Gallen의 연구자들이 느슨하게 연결되어 있다.

학부생:

어느 정도 규모의 분야인가요?

강사:

솔직히 말하자면, 아직 작은 분야다.

Compositional Game Theory 자체의 논문을 내고 있는 연구자는 전 세계적으로 아마 수십 명 규모일 것이다.

하지만 이것은 **응용 범주론 (Applied Category Theory, ACT)**이라는 더 큰 연구 커뮤니티의 일부다.

ACT는 매년 국제 회의를 개최하는데, 2019년 옥스퍼드 대회에서는 70편의 논문이 투고되었고 약 150명이 참가했다.

회의는 그 후로도 Maryland, Strathclyde, Cambridge, MIT, 그리고 2025년에는 University of Florida 등 매년 각지에서 이어지고 있다.

전용 피어 리뷰 오픈 액세스 학술지인 『Compositionality』 또한 이 커뮤니티가 운영하고 있다.

즉, Compositional Game Theory는 '한 천재의 아이디어'가 아니라, 응용 범주론이라는 살아있는 커뮤니티 안에서 여러 연구 그룹이 키워나가고 있는, 작지만 착실히 성장하고 있는 영역이다.

학부생:

재미있네요.

그럼, 그 "Open Games"라는 게 구체적으로 어떤 구조인가요?

강사:

좋다, 다음 장에서 그 심장부로 내려가 보자.

상단 그림: 죄수의 딜레마 이득 행렬(Payoff Matrix).

각 칸의 숫자는 (플레이어 A의 이득, 플레이어 B의 이득)을 나타내며, 수치가 클수록 바람직하다. 본문의 "침묵=협조", "자백=배신"에 대응한다.

양측이 협조하면 (3,3)으로 서로 어느 정도 이득을 보지만, 상대가 협조할 때 자신만 배신하면 (5,0)으로 더 큰 이득을 얻기 때문에, 양측 모두 배신으로 흐르게 되어 결과는 (1,1)에 안착한다.

── 이것이 내쉬 균형 (Nash Equilibrium)이다.

학부생:

교수님, 본격적으로 Compositional Game Theory에 들어가기 전에, 일반적인 게임 이론이 무엇을 하는 것인지 가볍게 알려주실 수 있나요?

저는 정말 이름밖에 모르거든요.

강사:

물론이다.

5분 만에 최소한의 윤곽만 잡아보자.

게임 이론의 3요소:

• 첫째,
  플레이어 (Player): 의사결정을 내리는 주체. 사람, 기업, 국가, AI 에이전트 등 무엇이든 가능하다.

• 둘째,
  전략 (Strategy): 각 플레이어가 취할 수 있는 선택지.

• 셋째,
  보수 (Payoff): 전략의 조합에 따라 각 플레이어가 얻는 결과 (만족도, 돈, 승패 등).

학부생:

플레이어, 전략, 보수. 심플하네요.

강사:

가장 유명한 예는 죄수의 딜레마 (Prisoner's Dilemma) 야.

어떤 사건으로 두 명의 용의자가 잡혔다고 가정하자. 경찰은 서로 다른 방에서 심문을 진행한다. 각 용의자에게는 두 가지 선택지가 있다:

• 묵비권 행사 (협력)
• 자백 (배반)

그리고 결과는 다음과 같다:

둘 다 묵비권 행사 → 각 2년형
둘 다 자백 → 각 5년형
한 명은 묵비권 행사, 다른 한 명은 자백 → 묵비권을 행사한 쪽은 10년, 자백한 쪽은 0년 (사법 거래)

학부생:

직관적으로는 '둘 다 묵비권 행사'가 가장 낫겠네요.

하지만 상대가 배반할지도 모른다고 생각하면...

강사:

그 점이 흥미로운 부분이지.

논리적으로 분석하면, 둘 다 '자백'을 선택하는 것이 '합리적 (Rational)' 이 된다.

왜냐하면, 상대가 묵비권을 행사하든 자백하든, 내가 자백하는 편이 형량이 가벼워지기 때문이야 (상대 묵비 시 10년→0년, 상대 자백 시 5년→5년).

결과적으로, 둘 다 자백하여 각 5년형을 받게 된다.