균일-정확 정책 최적화: RLVR 의 다양성 무관성에 대한 돌파

요약

본 논문은 강화학습(RLVR) 모델이 단일 시도 정확도는 높지만, 다중 샘플 커버리지(Pass@K)에서 다양성 붕괴를 겪는 문제를 분석하고 해결책을 제시합니다. 기존 RL 목표 함수가 올바른 해답들의 확률 분포에 무관하여 발생하는 '자기 강화 붕괴' 메커니즘을 공식화했습니다. 이를 바탕으로, 정책의 올바른 해답 분포에 조건부 균일성 페널티를 추가한 '균일-정확 정책 최적화(UCPO)' 기법을 제안합니다. UCPO는 다양성을 유지하면서도 높은 정확도를 달성하여 여러 수학 추론 벤치마크에서 성능 향상을 입증했습니다.

핵심 포인트

• RLVR 모델은 Pass@1은 높으나, 다중 샘플 커버리지(Pass@K)에서 다양성 붕괴를 겪는 문제가 있다.
• 이러한 붕괴는 기존 RL 목표 함수가 올바른 해답들의 확률 질량 분포에 무관하기 때문에 발생한다.
• 제안된 '균일-정확 정책 최적화(UCPO)'는 정책의 올바른 해답 분포에 조건부 균일성 페널티를 추가하여 붕괴 문제를 해결한다.
• UCPO는 다양성을 개선하면서도 Pass@1을 유지하며, 수학 추론 벤치마크에서 높은 성능 향상을 보였다.