사후 학습(Post-training)에서 간과된 프리 러치(Free Lunch): LLM 에이전트를 위한 진전 우위(Progress

프로세스 보상 모델(Process reward models)은 LLM의 세밀한 단계별(step-level) 평가를 가능하게 하지만, 에이전트 환경을 위한 모델 구축은 여전히 매우 어렵습니다. 긴 호흡의 상호작용(long-horizon interactions), 되돌릴 수 없는 행동(irreversible actions), 그리고 확률적인 환경 피드백(stochastic environment feedback)은 대규모의 인간 주석(human annotation) 및 몬테카를로 추정(Monte Carlo estimation)을 불가능하게 만듭니다. 본 연구에서는 강화학습 (RL) 사후 학습(post-training)이 이미 효과적인 단계별 점수 산정을 위한 요소들을 제공하고 있으며, 이를 통해 별도의 보상 모델 학습이 전혀 필요하지 않음을 보여줍니다. 구체적으로, 우리는 일반적인 확률적 마르코프 결정 과정 (stochastic Markov decision process) 하에서 '진전 우위 (progress advantage)'라고 명명한 암시적 우위(implicit advantage)를 도출합니다. 즉, RL로 학습된 정책(policy)과 참조 정책(reference policy) 사이의 로그 확률 비율(log-probability ratio)이 최적의 우위 함수(optimal advantage function)를 정확히 복원합니다. 이러한 공식화는 결과적으로 생성되는 신호를 주석이 필요 없고(annotation-free), 도메인에 구애받지 않으며(domain-agnostic), 표준 RL 사후 학습 파이프라인의 부산물로서 사용할 수 있게 합니다. 우리는 5개의 벤치마크와 4개의 모델 제품군에 대해 테스트 시간 스케일링(test-time scaling), 불확실성 정량화(uncertainty quantification), 실패 원인 분석(failure attribution)이라는 세 가지 서로 다른 응용 분야를 통해 진전 우위의 효과를 검증합니다. 모든 설정에서 진전 우위는 신뢰도 기반 베이스라인(confidence-based baselines)을 일관되게 능가하며, 작업별 학습이 필요 없음에도 불구하고 별도로 학습된 전용 보상 모델들을 넘어섭니다. 우리는 진전 우위의 특성에 대한 심층적인 분석을 통해 이러한 결과를 보완하며, 실제 에이전트 시스템 도입을 위한 실질적인 가이드를 제공합니다.