GRPO와 On-Policy Distillation을 넘어: 언어 모델 사후 학습을 위한 경험적 Sparse-to-Dense 보상 원칙

요약

본 기사는 언어 모델 사후 학습 시 데이터 할당의 효율성을 높이는 '보상 밀도(reward-density)' 원칙을 제시합니다. 기존 방식이 간과했던 이 원칙은 희소한 시퀀스 수준 보상은 탐색에, 조밀한 토큰 수준 교사 보상은 행동 압축에 사용해야 함을 강조합니다. 연구진은 Qwen3 및 Llama 모델을 사용하여 검증 가능한 수학 문제에서 '브릿지(Bridge)'를 통한 증류 방식이 기존의 직접적인 GRPO보다 성능이 우수하며, 특히 학생 측 희소 RL 적용 전후로 그 효과가 극대화됨을 입증했습니다.

핵심 포인트

• 언어 모델 사후 학습 시 데이터 할당은 '보상 밀도' 원칙에 따라 이루어져야 합니다.
• 희소한 레이블 데이터(Sparse Reward)는 탐색적 행동 학습(Upstream/Teacher-side Discovery)에, 조밀한 교사 감독(Dense Teacher Supervision)은 학생 모델 압축(Downstream/Student Compression)에 사용되어야 합니다.
• 제안된 '브릿지(Bridge)' 메커니즘을 통해 증류된 RL 개선 방식이 직접적인 GRPO보다 성능 향상 및 안정성이 높습니다.
• 가장 효과적인 학습 순서는 교사 측 발견(Sparse Reward) $ ightarrow$ 브릿지(Dense Transfer) $ ightarrow$ 학생 측 희소 RL(Sparse Reward)의 단계적 적용입니다.
• 준비되지 않은 정책(cold student)에 직접적으로 희소 레이블 데이터를 사용하는 것은 피해야 합니다.