TRACE: 크레딧 추정 기반의 턴별 보상 할당을 통한 장기 지평 에이전트 학습

요약

본 논문은 복잡한 멀티턴 에이전트의 장기 지평 학습에서 발생하는 크레딧 할당 문제를 해결하기 위해 TRACE(Turn-level Reward Assignment via Credit Estimation)를 제안합니다. TRACE는 롤아웃을 상태 전이로 보고, 참조 모델의 로그 확률 변화를 이용해 행동별 보상을 도출하는 조밀한 방법을 사용합니다. 이 방법은 추가적인 비평가나 복잡한 훈련 없이도 에이전트의 도구 사용 능력을 크게 향상시킵니다.

핵심 포인트

• TRACE는 크레딧 할당 문제를 해결하는 새로운 접근 방식입니다.
• 참조 모델의 로그 확률 변화를 이용해 행동별 보상을 계산합니다.
• 추가적인 비평가나 복잡한 훈련 없이도 성능 개선이 가능합니다.
• 폐쇄형 웹 벤치마크에서 Qwen3-4B 및 Qwen3-30B-A3B 모델의 성능을 크게 향상시켰습니다.