Byte-Prefix Marginalization을 통한 교차 토크나이저 온-정책 증류 (Cross-Tokenizer On-Policy

요약

서로 다른 토크나이저를 사용하는 모델 간의 온-정책 증류(OPD) 효율을 높이기 위한 Byte-Prefix Marginalization(BPM) 기술을 제안합니다. BPM은 바이트 공간을 활용해 교사 모델의 확률 질량을 학생 모델의 어휘로 정확하게 재표현하여 정보 손실을 최소화합니다.

핵심 포인트

• 교차 토크나이저 환경에서 확률 질량 손실 문제를 해결하는 BPM 기법 제안
• 바이트 접두사를 활용해 교사 모델의 분포를 학생 모델 어휘로 정렬
• Qwen3, GLM-Z1 등 다양한 모델을 통해 수학 및 프로그래밍 성능 향상 입증
• 기존 방식 대비 벤치마크 평균 성능을 3.7~6.6 포인트 개선