LLM 에이전트의 강화학습을 위한 의미론적 일관성 정책 최적화 (Semantic Consistency Policy Optimization)

요약

LLM 에이전트의 강화학습 시 발생하는 의미론적 신용 불일치 문제를 해결하기 위한 SCPO 방법론을 제안합니다. 성공적인 궤적과 실패한 궤적 간의 유사성을 활용해 단계별 보상을 최적화함으로써 다단계 과업 수행 능력을 향상시킵니다.

핵심 포인트

• 그룹 기반 강화학습의 의미론적 신용 불일치 문제 해결
• SCPO: 성공적인 형제 궤적을 활용한 가치 없는 보상 형성 방법론
• ALFWorld 및 WebShop 벤치마크에서 기존 베이스라인 상회 성능 입증
• 복잡한 다단계(multi-step) 과업에서 특히 높은 성능 향상 확인