Cooperation Matters: Evaluation of Cooperative Multi-Agent Reinforcement

요약

본 논문은 기존 다중 에이전트 강화학습(MARL) 벤치마크가 단순히 최종 결과(리턴, 성공률 등)만을 측정하는 한계를 지적하며, 에이전트 간의 '협조 방식'을 진단할 수 있는 새로운 평가 관점을 제안합니다. 이 관점은 STAT라는 통제된 테스트베드를 통해 에이전트, 작업, 환경 크기를 체계적으로 변화시키며 협력 메커니즘을 분석합니다. 연구 결과는 유사한 최종 리턴이라도 중복 할당, 할당 다양성 등 다양한 협조 기제를 반영할 수 있음을 보여주었으며, MARL 평가에 있어 협조 감지 평가의 중요성을 강조합니다.

핵심 포인트

• 기존 MARL 벤치마크는 최종 집계 결과(리턴)만 측정하여 에이전트 간의 실제 '협조 방식'을 파악하는 데 한계가 있다.
• 제안된 STAT 프레임워크는 관찰 및 작업 규칙은 고정하고, 에이전트/작업 크기 변화를 통해 협력 메커니즘을 체계적으로 테스트할 수 있게 한다.
• 최종 리턴 값이 같더라도, 그 이면에는 중복 할당(redundancy), 할당 다양성(diversity) 등 다양한 형태의 협조 기제가 존재할 수 있다.
• MARL 성능은 단순히 행동 공간 크기뿐만 아니라 '할당 압력', '희소 결정 기회', 그리고 에이전트 간의 상호 의존적 선택에 의해 크게 영향을 받는다.