AEM: 다중 턴 에이전트 강화학습을 위한 적응형 엔트로피 변조

요약

본 논문은 대형 언어 모델(LLM) 기반 에이전트가 다중 턴 작업을 수행할 때 발생하는 희소 보상 문제와 크레딧 할당 어려움을 해결하기 위한 새로운 방법인 AEM을 제안합니다. AEM은 강화 학습(RL) 훈련 과정 중 엔트로피 역학을 적응적으로 변조하여, 탐험과 활용 사이의 균형을 효과적으로 맞추는 감독 없는 크레딧 할당 방법을 제공합니다. 광범위한 실험 결과, 특히 SWE-bench-Verified와 같은 까다로운 벤치마크에서 기존 최신 모델 대비 유의미한 성능 향상을 입증했습니다.

핵심 포인트

• AEM(Adaptive Entropy Modulation)은 LLM 에이전트의 다중 턴 작업 수행 능력을 강화하는 새로운 RL 기법입니다.
• 기존 RL 방법들이 직면했던 희소 보상 및 크레딧 할당 문제를 해결하며, 복잡한 중간 감독 없이 작동합니다.
• AEM은 엔트로피 역학을 적응적으로 변조하여 탐험(exploration)과 활용(exploitation) 사이의 최적 균형점을 찾아냅니다.
• SWE-bench-Verified와 같은 도전적인 벤치마크에서 기존 SOTA 모델 대비 유의미한 성능 개선(1.4%)을 달성했습니다.