온폴리시 증류 (On-Policy Distillation, OPD)는 더 강력한 교사 (Teacher) 모델과 일치시키면서, 학생 (Student) 모델 자신의 정책 (Policy)에서 샘플링된 접두사 (Prefix)를 통해 학생을 학습시킵니다. 이는 오프라인 증류 (Offline Distillation)의 접두사 불일치 (Prefix mismatch) 문제를 해결하지만, 초기 학생 모델의 롤아웃 (Rollout)은 여전히 품질이 낮을 수 있으며, 이로 인해 교사의 감독이 약하거나 저품질인 접두사에 배치될 수 있습니다. 우리는 학생 중심의 KL 신뢰 영역 (KL trust region) 내에서 초기 롤아웃 정책을 교사에게 가장 가까운 행동 정책 (Behavior policy)으로 교체하는 동시에, 접두사별 역-KL (Reverse-KL) OPD 손실 (Loss)은 변경하지 않는 웜업 (Warmup) 방법인 신뢰 영역 행동 혼합 (Trust-Region Behavior Blending, TRB)을 제안합니다. KL 예산 (KL budget)은 0으로 어닐링 (Annealed)되어, 웜업 이후에는 학습이 순수한 학생 롤아웃으로 돌아갑니다. 두 가지 수학적 추론 (Math-reasoning) 증류 설정 전반에 걸쳐, TRB는 비교된 방법들 중 가장 강력한 평균 성능을 달성했습니다.