Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
온폴리시 증류(OPD) 과정에서 발생하는 접두사 실패 문제를 해결하기 위해 Relay-OPD 방식을 제안합니다. 교사가 학생의 오류를 감지하여 궤적을 재설정하는 '핸드오프' 메커니즘을 통해 효율적이고 정확한 학습을 유도합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기온폴리시 증류 (On-policy distillation, OPD)는 토큰 수준의 감독 (supervision)을 학생 모델의 자체 궤적 (trajectory)에 기반하여 수행하지만, 접두사 실패 (prefix failure) 문제로 어려움을 겪습니다. 즉, 학생 모델이 한 번 잘못된 추론 방향을 선택하면, 이후의 모든 생성 과정이 이 편차를 바탕으로 구축되어 잘못된 방향의 연속 생성을 초래하며, 이는 신뢰할 수 없는 감독을 유도하고 연산 자원 (compute)을 낭비하게 만듭니다. 우리는 실패한 접두사에서 발생하는 교사-학생 간의 연속성 비대칭성 (continuation asymmetry)을 식별했습니다. 여기서 교사는 방향을 재설정하려는 경향이 있는 반면, 학생은 원래의 방향을 따라 계속 진행합니다. 우리는 이를 Relay On-Policy Distillation (Relay-OPD)에서 레이블이 필요 없는 핸드오프 트리거 (label-free handoff trigger)로 변환합니다. 훈련 과정 동안 Relay-OPD는 감지된 트리거 지점에서 교사가 잠시 역할을 넘겨받아 교사 구간 (teacher leg)을 생성하게 하고, 그 후 학생이 다시 재개하여 결과적으로 생성된 궤적을 바탕으로 최적화함으로써 릴레이 궤적 (relay trajectories)을 구축합니다. 제한된 릴레이 예산 (relay budget)은 학생 정책 (student policy)으로부터의 이탈을 제한하면서도, 중요한 초기 위치에 개입을 집중시킵니다. Qwen3-4B-Instruct-2507 교사와 8개의 수학적 추론 벤치마크에 대한 Qwen3-0.6B/1.7B-Non-Thinking 학생 모델을 사용하여 테스트한 결과, Relay-OPD는 모든 벤치마크에서 최고 또는 차순위 결과를 달성했습니다. 1.7B 모델 기준으로 표준 OPD보다 평균 +5.73%, 가장 강력한 베이스라인인 FastOPD보다 평균 +1.49% 높은 성능을 보였으며, 0.6B 모델에서도 일관된 성능 향상을 나타냈습니다. 훈련 궤적 길이는 50% 이상 단축되었습니다.