검증 가능한 보상으로부터의 강화학습 (RLVR)은 희소한 결과 신호 (sparse outcome signals)로 인해 어려움을 겪으며, 이는 복잡한 추론 작업에서 심각한 탐색 병목 현상을 초래합니다. 최근의 온-정책 (on-policy) 자기 증류 (self-distillation) 방법들은 언어 피드백을 활용하여 조밀한 토큰 수준의 감독 (token-level supervision)을 생성함으로써 이를 해결하려고 시도합니다. 그러나 이러한 접근 방식은 피드백을 해석하기 위해 고정되고 수동적인 교사 (teacher) 모델에 의존합니다. 학생 (student) 정책이 향상됨에 따라 교사의 제로샷 (zero-shot) 평가 능력은 정체되며, 결국 추가적인 학습을 중단시킵니다. 이를 극복하기 위해, 우리는 언어 피드백으로부터의 학습을 변분 기대-최대화 (Variational Expectation-Maximization, EM) 문제로 공식화하는 프레임워크인 변분 정책 증류 (Variational Policy Distillation, VPD)를 제안합니다. VPD는 두 정책을 함께 공진화시킵니다. E-단계 (E-step)에서는 적응형 신뢰 영역 (adaptive trust-region) 업데이트를 통해 궤적 결과 (trajectory outcomes)에 대해 교사를 능동적으로 개선하며, 텍스트 피드백을 동적으로 개선된 목표 토큰 분포 (target token distribution)로 변환합니다. M-단계 (M-step)에서는 학생이 자신의 온-정책 롤아웃 (on-policy rollouts) 상에서 이러한 조밀한 분포 가이드를 내재화합니다. 텍스트 비평으로부터 실행 가능한 신호를 추출하는 교사의 능력을 지속적으로 향상시킴으로써, VPD는 수동적 증류의 한계를 극복합니다. 과학적 추론 및 코드 생성 작업에 대한 다양한 진단 피드백 소스를 통해 평가했을 때, VPD는 표준 RLVR 및 기존의 자기 증류 베이스라인 모두를 일관되게 능가합니다. 마지막으로, 엄격한 수학적 추론 및 콜드 스타트 (cold-start) 환경에서 우리 프레임워크를 스트레스 테스트함으로써, 순수 환경 주도형 RL과 비교하여 피드백 주도형 자기 증류의 근본적인 한계를 밝힙니다.