모든 토큰은 자신만의 교사가 필요하다: 다중 교사 적응형 온정책 자체 증류

요약

기존 온정책 자체 증류(OPSD) 방식의 한계를 지적하며, 본 논문은 토큰별로 교사 선호도가 다를 수 있다는 점에 착안했습니다. 이에 따라 모든 토큰이 자신만의 교사를 갖도록 하는 다중 교사 적응형 OPSD(MTA-OPSD)를 제안합니다. 이 방법은 수학적 추론 과제에서 기존 방식 대비 평균 최대 +5.9의 성능 향상을 입증하며, 토큰 수준 감독의 중요성을 강조했습니다.

핵심 포인트

• 기존 OPSD는 교사 고정 또는 전체 노출 등 한계가 있습니다.
• 교사 선호도는 응답 내에서도 토큰마다 다를 수 있음이 검증되었습니다.
• MTA-OPSD는 다중 교사 풀을 구축하고 모든 토큰에 적응적으로 교사를 선택합니다.
• Qwen3 모델 실험 결과, 기존 방식 대비 성능 향상을 보였습니다.