행위자(Actor), 심판자(Judge), 또는 교사(Teacher)? 장기 지평선 에이전트에서의 의사 결정 모델 이해

요약

본 논문은 장기 지평선 에이전트에서 의사 결정 모델의 역할을 행위자(Actor), 심판자(Judge), 교사(Teacher) 세 가지 관점에서 분석합니다. 연구 결과, 성능이 낮은 행위자라 할지라도 에피소드 종료 후 행동을 평가하는 '교사' 역할(JEV 사용)을 통해 효과적으로 학습시킬 수 있음을 입증했습니다.

핵심 포인트

• 의사 결정 모델은 행동 선택 외에 행동 평가 및 정책 학습에도 활용 가능합니다.
• 심판자(Judge)는 전체 궤적에서 각 행동의 기여도를 측정하여 유용한/쓸모없는 행동을 분리합니다.
• 교사 역할은 에피소드 후 행동 평가를 통해 성능이 낮은 행위자의 개선을 이끌어냅니다.
• JEV와 GRPO를 활용하여 ALFWorld 및 WebShop에서 성공률 향상을 확인했습니다.