CEPO: 대조적 증거 정책 최적화 (Contrastive Evidence Policy Optimization)를 이용한 RLVR 자기 증류

요약

CEPO(Contrastive Evidence Policy Optimization)는 RLVR 환경에서 결정적인 추론 토큰과 단순 채우기용 토큰을 구분하기 위해 제안된 새로운 자기 증류 방법론입니다. 정답과 오답 교사를 대조하여 진정한 추론 단계에만 정교한 보상을 할당함으로써, 기존 방식의 정보 유출 및 신호 약화 문제를 해결합니다. 실험 결과, 2B 및 4B 모델 규모에서 기존 GRPO 및 분포 매칭 방식보다 높은 수학적 추론 성능을 입증했습니다.

핵심 포인트

• 결정적 추론 토큰과 채우기용(filler) 토큰을 구분하여 신용 할당(credit assignment)의 정확도를 높임
• 정답뿐만 아니라 학습 배치 내 거부된 롤아웃을 활용한 오답 교사를 대조하여 추가 샘플링 비용 없이 학습 가능
• 기존 분포 매칭 자기 증류 방식(OPSD, SDPO)에서 발생하는 정보 유출 문제를 이론적·실증적으로 해결
• 2B 및 4B 모델의 멀티모달 수학적 추론 벤치마크에서 GRPO 대비 우수한 성능 달성