Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
온폴리시 증류(OPD) 과정에서 교사와 학생 모델 간의 로컬 발산이 최종 결과와 혼동될 수 있음을 분석한 연구입니다. 실패한 궤적에서도 높은 일치율이 나타나는 '실패 시의 일치' 현상을 발견하고, 로컬 정보만으로는 오류 지점을 식별하기 어렵다는 국소화의 한계를 지적합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온폴리시 증류 (On-policy distillation, OPD)는 학생 모델이 자신의 궤적(trajectories)을 통해 학습하는 동안, 교사 모델이 학생이 방문한 접두사(prefixes)에 대해 조밀한 토큰 수준의 가능도(likelihoods)를 제공하며 학습합니다. 이러한 가능도는 흔히 로컬하게 해석됩니다. 즉, 일치(agreement)는 모방하기에 안전한 것으로 보이고, 불일치(disagreement)는 오류를 식별하는 것으로 보입니다. 우리는 이 두 가지 해석 모두가 완료된 궤적의 결과(outcome)에 의해 혼동(confounded)된다는 것을 보여줍니다. 우리는 점 단위의 교사-학생 발산(divergence)과 최종 정답의 정확도를 교차하여, 안전한 모방(safe imitation), 생산적 발산(productive divergence), 해로운 발산(harmful divergence), 그리고 실패 시의 일치(agreement-on-failure)를 구분하는 결과 해결형 진단(outcome-resolved diagnostic)을 도입합니다. Qwen3-8B 학생과 Qwen3-32B 교사를 사용한 8개 시드의 수학적 추론 연구에서, 실패 시의 일치(agreement-on-failure)는 통합된 응답 토큰 질량(response-token mass)의 67.84%를 차지하며, Qwen2.5-7B/32B 쌍에서도 67.68%로 유지됩니다. 이 결과는 임계값(threshold), 시퀀스 수준(sequence-level), 형식(format), 그리고 절단(truncation) 감사 전반에 걸쳐 지속됩니다. Qwen3 교사가 4번의 독립적인 시도 모두에서 해결하는 프롬프트에서도, 학생의 정확도는 86.91%로 상승하지만 실패 시의 일치는 14.76%로 남아 있습니다. 이후 우리는 가용 신호를 사용하여 전체 궤적을 모방(imitate), 마스킹(mask), 또는 대조(contrast)하는 세 가지 매칭된 학습 프로브(training probes)를 실행하였으나, 그 중 어느 것도 실패 시의 일치를 일관되게 감소시키지 못했습니다. 이 결과는 국소화의 한계(localization limitation)를 지적합니다. 즉, 로컬 발산(local divergence)이 궤적 수준의 결과와 결합되어도 실패한 궤적이 어느 지점에서 회복 불가능해졌는지를 식별하지 못한다는 것입니다. 이 한계를 해결하기 위해서는 프로세스 라벨(process labels), 학생 접두사로부터의 교사 연속(teacher continuations), 또는 롤아웃(rollouts) 전반에 걸친 토큰 수준의 정렬(alignment)과 같은 추가적인 위치 정보가 필요합니다. 따라서 우리의 기여는 새로운 학습 방법이라기보다 진단적(diagnostic)인 측면에 있습니다.