행동이 아닌 신념에 보상하기: 장기적 에이전트를 위한 일관성 기반 신용 할당

요약

장기적 상호작용 과제에서 LLM 에이전트의 신념 드리프트와 시간적 신용 할당 문제를 해결하기 위한 새로운 강화학습 알고리즘 ReBel을 제안합니다. ReBel은 구조화된 신념 상태를 모델링하고 신념 일관성 감독을 통해 외부 주석 없이도 조밀한 자기 지도 신호를 생성합니다. 실험 결과, ALFWorld 및 WebShop 벤치마크에서 기존 GRPO 대비 성공률을 최대 20.4%p 향상시키고 샘플 효율성을 2.1배 개선했습니다.

핵심 포인트

• ReBel 알고리즘은 구조화된 신념 상태(belief states)를 명시적으로 모델링하여 부분적 관찰 가능성 문제를 해결함
• 신념 일관성 감독(belief-consistency supervision)을 통해 외부 검증기 없이 자기 지도 학습 가능
• 신념 인식 그룹화(belief-aware grouping)를 통해 분산이 낮은 견고한 어드밴티지 추정치 생성
• 장기적 벤치마크에서 GRPO 대비 성공률 20.4%p 향상 및 샘플 효율성 2.1배 증대