LLM 에이전트 학습을 위한 회고적 진행 상황 인지 자기 개선 (Retrospective Progress-Aware

강화학습 (Reinforcement Learning)으로 학습된 LLM 기반 에이전트들은 단계별 행동 예측을 최적화하지만, 작업 진행 상황에 대한 메타인지적 인식 (Metacognitive Awareness)이 부족하여 장기적 확장 (Long-horizon scaling)을 방해하는 격차를 유발합니다. 예비 연구에 따르면 온라인 진행 상황 프롬프팅 (Online progress prompting)은 성능을 저하시키는 반면, 회고적 시연 (Retrospective demonstrations)은 도움이 되지만, 이러한 능력은 결과 보상 학습 (Outcome-reward training)만으로는 나타날 수 없습니다. 우리는 RePro, 즉 회고적 진행 상황 인지 학습 (Retrospective Progress-Aware Training)을 제시합니다. 이는 '전진 후 성찰 (Forward-then-reflect)' 롤아웃 패러다임을 통해 에이전트가 진행 상황 신호를 스스로 생성하도록 학습시키는 프레임워크입니다. 에이전트는 온라인으로 행동을 실행한 다음, 완료된 궤적 (Trajectory)과 알려진 결과를 바탕으로 자신의 단계별 진행 상황을 회고적으로 재평가합니다. RePro는 최소한의 외부 시연으로부터 성찰 형식을 가르치는 '회고 웜업 (Retrospection Warmup)'으로 초기화된 후, 지속적인 외부 감독 없이도 스스로 생성된 신호를 만들어내는 복합 보상 (Composite reward)을 사용하는 RePro-PO를 통해 추가 학습됩니다. WebShop, ALFWorld, Sokoban에서의 실험 결과, RePro는 Qwen 제품군의 성능을 향상시키며 최대 12%의 절대적 성공률 상승을 보여주었습니다.