On the Implicit Reward Overfitting and the Low-rank Dynamics in RLVR

요약

본 논문은 검증 가능한 보상(RLVR)을 통해 모델이 얻는 추론 능력이 주로 rank-1 성분에 집중되어 있음을 분석하고, RLVR이 훈련 데이터에 과적합될 수 있는 역설적인 현상을 밝혀냈습니다. 연구진은 RLVR의 작동 방식을 세 가지 특성으로 특징지었는데, 이는 수학 추론 능력만 유지하며 특정 고유 스펙트럼을 최적화하는 방식입니다. 이러한 발견들은 기존 강화 학습(RL) 패러다임 개선 및 지속 학습 구현에 중요한 통찰력을 제공합니다.

핵심 포인트

• RLVR로 획득된 모델의 향상된 추론 능력은 주로 rank-1 성분에 집중되어 있다.
• 모델은 낮은 보상에도 불구하고 테스트 세트에서 좋은 성능을 내는 '암묵적 보상 과적합' 현상을 보인다.
• RLVR은 수학 추론 능력을 유지하며 다른 모델 지식은 분리하여 최적화한다.
• RLVR 훈련된 모델의 선형 레이어 고유 값 분포는 무거운 꼬리 분포를 따르며, 이는 샘플링 효율성 최적화를 시사한다.