사후 학습(Post-training)에서 간과된 프리 러치(Free Lunch): LLM 에이전트를 위한 진전 우위(Progress

요약

LLM 에이전트를 위한 별도의 보상 모델 학습 없이, RL 사후 학습 과정에서 발생하는 '진전 우위(progress advantage)'를 활용하는 새로운 연구를 소개합니다. 이 방식은 주석이 필요 없고 도메인에 구애받지 않으며, 기존 보상 모델보다 뛰어난 성능을 보여줍니다.

핵심 포인트

• RL 사후 학습의 부산물인 로그 확률 비율을 통해 최적의 우위 함수 복원 가능
• 별도의 인간 주석이나 보상 모델 학습이 필요 없는 annotation-free 방식
• 테스트 시간 스케일링, 불확실성 정량화, 실패 원인 분석 등 다양한 응용 가능
• 5개 벤치마크와 4개 모델 제품군 테스트 결과 기존 베이스라인 능가