VASPO: 특권 가치 추정 기반의 자기 증류

온-폴리시(on-policy) 자기 증류는 특권적인 자기 교사(privileged self-teacher)를 통해 추론 모델에 밀도 높은 감독(dense supervision)을 제공합니다. 하지만 이러한 감독은 비가이드 학생의 지속(unguided student continuation)이 기대하는 수익(expected return)이라기보다는 국소적인 토큰 선호도를 반영합니다. 최근 방법들은 이 신호를 GRPO와 결합합니다. 그들은 업데이트 방향에 GRPO를 사용하고, 신호 스케일링에는 교사를 사용합니다. 하지만 우리는 PPO 내에서 더 효과적인 통합을 시연합니다. 구체적으로, 우리는 상보적인 위치 역학(complementary positional dynamics)을 식별했습니다: 특권 정보는 비평가(critic)의 응답 끝 부분에 대한 가치 예측 정확도를 향상시키는 반면, 자기 교사 지도는 초기에 강하고, 생성 중간에 감소하며, 마지막에 다시 상승합니다. 이러한 통찰은 값 증강 자기 증류 정책 최적화(Value-Augmented Self-Distillation Policy Optimization, VASPO)를 동기 부여했으며, 이 방법에서는 자기 교사와 비평가가 학생이 생성한 접두사(prefixes)에서 동일한 특권 정보를 평가합니다. 비평가는 예측된 지속 수익으로부터 토큰 수준의 PPO 어드밴티지(advantages)를 계산하는 반면, 자기 교사는 경계가 있는 확률 비율(bounded probability ratios)을 통해 선택된 긍정적 어드밴티지를 조절합니다. 여섯 가지 수학 추론 벤치마크에 걸쳐, VASPO는 Qwen3-4B와 OLMo3-7B 변형 모델에서 각각 PPO 대비 평균 정확도를 2.59%p 및 1.81%p 향상시키며, Knights 및 Knaves에서 평가된 방법 중 가장 높은 평균 정확도를 달성합니다. 저희 코드는 https://github.com/cii030/VASPO에서 이용 가능합니다.