Graph-SND: 다중 에이전트 강화학습의 행동 다양성 측정 효율화

요약

본 논문은 다중 에이전트 강화학습(MARL)에서 행동 이질성을 측정하는 기존의 시스템 신경 다양성(SND) 지표가 팀 규모에 따라 계산 비용이 급격히 증가하는 문제를 해결하기 위해 Graph-SND를 제안합니다. Graph-SND는 임의의 그래프 $G$ 의 에지 가중 평균을 사용하여 SND를 근사하며, 이를 통해 계산 복잡도를 획기적으로 줄이고 효율성을 높입니다. 연구진은 다양한 시나리오에서 Graph-SND가 정확성(복원), 편향 없음, 높은 집중도, 그리고 실제 적용 사례(VMAS, DiCo)에서 기존 방식 대비 월등한 속도 향상을 입증했습니다.

핵심 포인트

• Graph-SND는 다중 에이전트 강화학습의 행동 이질성을 측정하는 효율적인 대안입니다. 이는 팀 규모에 따라 이차 함수적으로 증가하던 계산 복잡도를 줄여줍니다.
• 제안된 Graph-SND는 완전 그래프(Complete Graph) SND를 정확히 복원할 수 있으며, 희소하거나 무작위한 에지 구조에서도 높은 신뢰성을 유지합니다.
• 실험 결과, Bernoulli-$0.1$ Graph-SND는 기존 SND 대비 호출당 메트릭 측정 시간을 약 9~10배 절감하며, 이는 대규모 시스템에서 병목 현상을 해소하는 데 결정적입니다.
• 이 방법론은 단순히 측정을 효율화할 뿐만 아니라, 클로즈드 루프 다양성 제어(closed-loop diversity control)와 같은 실제 응용 분야에서도 활용 가능함을 입증했습니다.