실패로부터 배우기: 검증 가능한 보상 (Verifiable Rewards)을 활용한 교정 지향적 정책 최적화

요약

본 논문은 대규모 언어 모델(LLMs)의 추론 능력 향상을 위해 검증 가능한 보상(RLVR)을 활용한 강화학습 패러다임을 다룹니다. 기존 RLVR 학습이 겪는 희소한 이진 보상 및 약한 신용 할당 문제를 해결하기 위해, 외부 신호에 의존하지 않고 온-정책 실패 궤적을 교정 지향적 감독으로 변환하는 '교정 지향적 정책 최적화(CIPO)'를 제안합니다. CIPO는 모델의 실패 시도에서 얻은 교정 샘플을 표준 RLVR 목적 함수와 공동 최적화하여, 학습 효율성을 높이고 모델이 스스로 오류를 수정하는 능력을 강화하며, 수학적 추론 및 코드 생성 등 다양한 벤치마크에서 우수한 성능을 입증했습니다.

핵심 포인트

• CIPO(Correction-Oriented Policy Optimization)는 LLM의 추론 능력 향상을 위한 새로운 RLVR 확장 방식이다.
• 기존 RLVR 학습의 문제점인 희소한 보상 및 약한 신용 할당 문제를 해결한다.
• 외부 신호 없이 온-정책 실패 궤적을 교정 지향적 감독으로 활용하여 모델의 자체 오류 수정 능력을 강화한다.
• CIPO는 수학적 추론과 코드 생성 등 광범위한 벤치마크에서 기존 베이스라인보다 일관되고 유의미하게 높은 성능을 보인다.