온-정책 증류(on-policy distillation)는 강화학습(reinforcement learning)에서 훈련 후 적용할 수 있는 대안적인 방법으로, 보상 모델(reward model)이 부과하는 제약 사항을 완화시키면서 교사 모델(teacher model)로부터 토큰 수준의 지도(supervision)를 제공합니다. 온-정책 증류는 다양한 환경에서 연구되고 적용되어 왔지만, 그 근본적인 설계는 여전히 충분히 탐구되지 않은 상태입니다. 본 논문에서는 교사의 출력 분포를 직접 모방하는 대신, 델타 신호(delta signal)라는 새로운 증류 보상(distillation reward)을 도입합니다. 이 델타 신호는 추론 능력(reasoning capability)을 위한 명령어 튜닝(instruction tuning) 이전의 교사 모델과 그 기본 모델(base model) 간의 차이로 정의됩니다. 따라서 이는 추론 튜닝에 의해 유도되는 변화를 포착하며, 추론 능력을 전이하는 데 더 직접적인 신호를 제공합니다. 광범위한 경험적 증거를 사용하여, 우리는 이 델타 신호가 온-정책 증류를 상당히 개선시킨다는 것을 보여주며, 새로운 증류 방법을 On-Policy Delta Distillation (OPD$^2$)이라고 지칭합니다. 수학, 과학, 코드 추론 벤치마크 전반에 걸친 실험은 OPD$^2$가 기존의 온-정책 증류보다 일관되게 우수한 성능을 보이며, 추론 LLM이 짧은 후속 훈련 기간만으로도 강력한 성능을 달성할 수 있도록 합니다. 코드는 https://github.com/naver-ai/opd2에서 이용 가능합니다.