검증 가능한 보상(verifiable rewards)을 활용한 강화학습(RLVR)은 언어 모델의 추론 능력을 향상시키는 강력한 방법이지만, 타겟 모델이 학습 과정에서 많은 롤아웃(rollouts)을 생성해야 하므로 새로운 강력한 모델이 나올 때마다 이를 반복하는 것은 비용이 많이 듭니다. 모델의 규모가 커짐에 따라 포스트 트레이닝(post-training) 자체가 병목 현상이 되고 있습니다. 우리는 이에 대한 대안으로 약한 모델에서 강한 모델로의(weak-to-strong) 접근 방식을 연구합니다. 즉, 롤아웃 비용이 더 저렴한 더 작은 모델에서 강화학습(RL)을 수행한 다음, 해당 RL 실행을 통해 학습된 내용을 재사용하여 더 강력한 타겟 모델을 개선하는 방식입니다. RL 이후의 약한 교사(teacher) 모델을 직접 증류(distilling)하는 것만으로는 충분하지 않은데, 이는 교사 모델의 최종 정책(policy)이 유용한 RL 이득과 더 작은 모델의 한계를 혼합하고 있기 때문입니다. 우리는 대신 교사의 RL로 유도된 정책 변화(policy shift)를 전달하는 직접 온-폴리시 증류(Direct On-Policy Distillation, Direct-OPD)를 제안합니다. Direct-OPD는 RL 이후의 교사 모델을 RL 이전의 자체 참조 모델과 비교하며, 이들의 로그 비율(log-ratio)을 학생(student) 모델을 위한 조밀한 암시적 보상(dense implicit reward)으로 취급합니다. 쉽게 말해, 체크포인트 쌍은 RL이 약한 모델로 하여금 어떤 행동을 더 또는 덜 취할 가능성이 높게 만들었는지를 알려주며, Direct-OPD는 이 신호를 더 강력한 학생 모델의 자체 온-폴리시 상태(on-policy states)에 적용합니다. 이는 명시적인 보상 모델을 학습시키거나 타겟 모델에서 희소 보상(sparse-reward) 강화학습을 실행하지 않고도 약한 모델의 RL 감독 신호를 직접 재사용합니다. 실증적으로 Direct-OPD는 약한 교사를 활용하여 더 강력한 타겟 모델을 일관되게 개선합니다. 특히, 8개의 A100 GPU에서 단 4시간 만에 Qwen3-1.7B의 AIME 2024 성능을 48.3%에서 62.4%로 끌어올렸습니다. 이는 단계가 일치하는 직접 강화학습(step-matched direct RL)보다 뛰어난 성능을 보이며, 여러 정책 변화의 순차적 결합을 가능하게 합니다. 우리의 결과는 RL의 결과물이 단순히 모방해야 할 최종 모델로서만이 아니라, 암시적 보상 신호로서 모델 규모를 넘어 재사용될 수 있음을 보여줍니다.