직접 온-폴리시 증류(Direct On-Policy Distillation)를 통한 약한 모델에서 강한 모델로의 일반화

요약

약한 모델의 강화학습(RL) 성과를 강한 모델로 효율적으로 전이하는 Direct-OPD 기법을 제안합니다. 교사 모델의 정책 변화를 암시적 보상 신호로 활용하여, 타겟 모델의 추가적인 롤아웃 비용 없이도 추론 성능을 크게 향상시킵니다.

핵심 포인트

• Direct-OPD는 약한 모델의 RL 정책 변화를 직접 증류하여 타겟 모델을 개선함
• 명시적 보상 모델 학습이나 타겟 모델의 추가 RL 없이도 성능 향상 가능
• Qwen3-1.7B 모델의 AIME 2024 성능을 48.3%에서 62.4%로 대폭 개선
• RL 결과물을 단순 모방 대상이 아닌 암시적 보상 신호로 재사용하는 방법론 제시