단방향 검증 가능한 보상을 위한 부정성 전용 정책 최적화

요약

기존 강화학습(RLVR)은 완전한 검증기를 요구하지만, 실제 환경에서는 단방향 검증 가능성(OSV)으로 공식화됩니다. 본 논문은 신뢰할 수 있는 부정 사례만을 활용하는 '부정성 전용 정책 최적화(NOPO)'를 제안합니다. NOPO는 오라클 보상 사용이 어려운 코드, 논리 및 수학 벤치마크에서 기존 대비 성능 향상을 입증했습니다.

핵심 포인트

• RLVR의 불안정성을 해결하기 위해 단방향 검증 가능성(OSV)을 공식화함.
• NOPO는 신뢰할 수 있는 부정 사례만을 사용하여 정책 업데이트를 수행합니다.
• 참조 상대적 부정성 억제 손실과 그룹 레벨 어댑터를 결합하여 성능을 개선했습니다.
• 오라클 보상 없이도 코드, 논리 및 수학 벤치마크에서 pass@k 성능 향상을 보였습니다.