Strat-Reasoner: 멀티 에이전트 게임에서 LLM 의 전략적 추론 강화

요약

본 논문은 대규모 언어 모델(LLMs)이 다른 에이전트의 상호작용에 의해 결과가 결정되는 멀티 에이전트 게임 환경에서 전략적 추론 능력을 강화하는 새로운 RL 기반 프레임워크인 Strat-Reasoner를 제안합니다. 이 프레임워크는 에이전트의 추론 과정이 다른 에이전트의 추론 과정을 통합하는 반복적인 추론 패러다임을 도입했습니다. 또한, 중앙 집중식 CoT 비교 모듈을 사용하여 중간 추론 단계에 효과적인 보상 신호를 제공하고, 그룹 상대적 RL 접근법을 통해 LLM 정책 최적화를 수행하여 다양한 멀티 에이전트 게임에서 평균 22.1%의 성능 향상을 입증했습니다.

핵심 포인트

• LLMs는 멀티 에이전트 환경에서 비정상성 및 크레딧 할당 문제로 인해 전략적 추론에 어려움을 겪는다.
• Strat-Reasoner는 LLM의 전략적 추론을 강화하기 위해 RL 기반 프레임워크를 제안한다.
• 새로운 반복적 추론 패러다임을 도입하여 에이전트가 다른 에이전트의 추론 과정을 통합하도록 한다.
• 중앙 집중식 CoT 비교 모듈을 활용하여 중간 추론 시퀀스에 대한 효과적인 보상 신호를 제공한다.
• 그룹 상대적 RL 접근법을 통해 LLM 정책 최적화를 수행하며, 평균 22.1%의 성능 향상을 달성했다.