Prefix Teach, Suffix Fade: 강력한 모델에서 약한 모델로의 On-Policy Distillation에서의 국소적 학습

요약

본 연구는 강력한 Teacher 모델의 피드백을 사용하여 약한 Student 모델을 학습시키는 On-policy distillation(OPD) 과정에서, 전체 응답 시퀀스를 균일하게 감독하는 기존 가정이 항상 유효하지 않음을 보여줍니다. 특히 strong-to-weak 설정에서는 궤적 후반부 세그먼트가 Teacher-Student 이점을 보일지라도, Student의 학습 우선순위를 정할 국소적 대비(local contrast)가 부족하여 '국소적 학습 가능성 붕괴' 현상이 발생합니다. 이를 해결하기 위해, 본 연구는 Teacher의 마진을 측정하고 BIC 스타일의 하향 변화점 감지를 통해 조밀한 OPD 감독을 적절히 중단하는 '궤적 특화 해제 규칙(trajectory-specific release rule)'을 제안하며, 이는 다양한 벤치마크에서 기존 방식보다 우수한 성능과 Out-of-domain 능력 보존 능력을 입증했습니다.

핵심 포인트

• strong-to-weak On-policy distillation (OPD) 과정에서는 전체 응답 시퀀스에 걸쳐 균일한 감독이 필요하지 않다.
• 후반부 궤적 세그먼트에서 발생하는 '국소적 학습 가능성 붕괴(local teachability collapse)' 현상을 정의하고 그 원인을 분석했다.
• 제안된 '궤적 특화 해제 규칙'은 Teacher의 마진을 측정하고 BIC 스타일 변화점 감지를 통해 OPD 감독을 동적으로 중단하여 효율성을 높인다.
• 이 방법론은 Qwen3 모델 제품군 기반 실험에서 다양한 인-도메인 및 아웃-오브-도메인 벤치마크에서 기존 전체 궤적 OPD보다 일관되게 우수한 성능을 보였다.