변분 정책 증류 (Variational Policy Distillation)를 통한 언어 피드백으로부터의 학습

검증 가능한 보상으로부터의 강화학습 (RLVR)은 희소한 결과 신호 (sparse outcome signals)로 인해 어려움을 겪으며, 이는 복잡한 추론 작업에서 심각한 탐색 병목 현상을 초래합니다. 최근의 온-정책 (on-policy) 자기 증류 (self-distillation) 방법들은 언어 피드백을 활용하여 조밀한 토큰 수준의 감독 (token-level supervision)을 생성함으로써 이를 해결하려고 시도합니다. 그러나 이러한 접근 방식은 피드백을 해석하기 위해 고정되고 수동적인 교사 (teacher) 모델에 의존합니다. 학생 (student) 정책이 향상됨에 따라 교사의 제로샷 (zero-shot) 평가 능력은 정체되며, 결국 추가적인 학습을 중단시킵니다. 이를 극복하기 위해, 우리는 언어 피드백으로부터의 학습을 변분 기대-최대화 (Variational Expectation-Maximization, EM) 문제로 공식화하는 프레임워크인 변분 정책 증류 (Variational Policy Distillation, VPD)를 제안합니다. VPD는 두 정책을 함께 공진화시킵니다. E-단계 (E-step)에서는 적응형 신뢰 영역 (adaptive trust-region) 업데이트를 통해 궤적 결과 (trajectory outcomes)에 대해 교사를 능동적으로 개선하며, 텍스트 피드백을 동적으로 개선된 목표 토큰 분포 (target token distribution)로 변환합니다. M-단계 (M-step)에서는 학생이 자신의 온-정책 롤아웃 (on-policy rollouts) 상에서 이러한 조밀한 분포 가이드를 내재화합니다. 텍스트 비평으로부터 실행 가능한 신호를 추출하는 교사의 능력을 지속적으로 향상시킴으로써, VPD는 수동적 증류의 한계를 극복합니다. 과학적 추론 및 코드 생성 작업에 대한 다양한 진단 피드백 소스를 통해 평가했을 때, VPD는 표준 RLVR 및 기존의 자기 증류 베이스라인 모두를 일관되게 능가합니다. 마지막으로, 엄격한 수학적 추론 및 콜드 스타트 (cold-start) 환경에서 우리 프레임워크를 스트레스 테스트함으로써, 순수 환경 주도형 RL과 비교하여 피드백 주도형 자기 증류의 근본적인 한계를 밝힙니다.