GARL: 다중 에이전트 전략적 우선순위 결정을 위한 게임 이론 기반 강화학습

LLM (Large Language Model) 기반의 다중 에이전트 시스템 (multi-agent systems)은 전략적 의사결정 작업을 위해 점점 더 많이 사용되고 있습니다. 이러한 환경에서 성능은 개별 모델의 능력뿐만 아니라, 에이전트들이 상호작용하고 적응하는 방식인 정책 (policies)에도 달려 있습니다. 다중 에이전트 강화학습 (Multi-agent reinforcement learning)은 이러한 상호작용 정책을 최적화할 수 있지만, 그 보상 설계 (reward design)는 종종 특정 작업에 국한되며 상호작용 구조에 기반한 근거가 약한 경우가 많습니다. 이러한 격차를 해소하기 위해, 우리는 다중 에이전트 전략적 우선순위 결정을 위한 게임 이론 기반 강화학습 (GAme-theoretic Reinforcement Learning) 프레임워크인 GARL을 제안합니다. GARL은 전략적 우선순위 결정을 2단계 게임으로 공식화합니다. 먼저 경쟁하는 에이전트들이 공유된 후보 집합에 대해 전략적 자원을 할당하고, 그 다음 상위 수준의 중재자 (arbiter)가 최종 순위를 생성합니다. 결과적으로 도출된 게임 이론적 효용 (game-theoretic utilities)은 역할별 강화 신호 (role-specific reinforcement signals)로 변환되어, 구조화된 상호작용에 의해 정책 최적화 (policy optimisation)가 가이드될 수 있도록 합니다. 우리는 법적 절차에서 핵심 쟁점을 우선순위화하는 것을 목표로 하는 분쟁 사안 순위 지정 (issues-in-dispute ranking) 문제에 GARL을 적용했습니다. 실험 결과, GARL은 순위 지정 성능을 향상시키고, 동일한 후보 순위 설정 하에서 작은 오픈 소스 LLM이 강력한 폐쇄형(closed-source) LLM과 경쟁할 수 있게 하며, 법률 도메인 역량 및 더 넓은 전략적 의사결정 측면에서 이득을 가져다준다는 것을 보여줍니다. 종합적으로, GARL은 게임 이론적 상호작용 구조가 어떻게 강화학습 목적 함수 (reinforcement-learning objectives)로 전환될 수 있는지를 보여주며, 다중 에이전트 전략적 우선순위 결정에서의 정책 최적화를 위한 원칙적인 접근 방식을 제공합니다.