추론 증류를 위한 효과적인 교사 지원

요약

본 논문은 LLM 증류 과정에서 비용이 많이 드는 전체 어휘 사용 대신, 교사의 고확률 어휘 분율만 사용하여 지원 비율을 대폭 낮추는 방법을 제안합니다. Qwen3 및 Nemotron Nano 모델에 적용한 결과, 0.01%의 낮은 지원 수준에서도 MMLU-Pro 성능 저하 없이 효율성을 높일 수 있음을 입증했습니다. 또한, 토큰 점수 캐싱 등을 통해 학습 시간 단축과 메모리 절감 효과를 확인했습니다.

핵심 포인트

• 지원 비율을 100%에서 0.01%로 낮춰 비용 효율성을 높일 수 있습니다.
• MMLU-Pro 성능 저하 없이 낮은 지원 수준에서도 증류가 가능합니다.
• 토큰 점수 캐싱으로 학습 시간을 38% 단축할 수 있었습니다.
• 학생 출력 계산 제한을 통해 메모리를 최대 24% 절감했습니다.