분산(Divergence)이 지식 증류 과정에서 엔트로피를 제어하는 방식

원문 발행 2026. 10. 03. 01:15원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 지식 증류 과정에서 학생 모델의 엔트로피가 데이터와 목표를 정의하는 분산(divergence)에 따라 어떻게 변화하는지 엔트로피적 관점에서 분석합니다. 특히 forward KL이 학생 모델의 엔트로피를 높게 부풀리는 현상을 증명하고, 다양한 분산들이 가지는 특성을 비교했습니다.

핵심 포인트

분산은 지식 증류 과정에서 암묵적인 엔트로피 정규화기 역할을 합니다.
forward KL은 학생 모델의 엔트로피를 교사보다 과도하게 부풀릴 수 있습니다.
reverse KL과 보간(interpolation) 방식은 각각 다른 방식으로 엔트로피 변화를 유발합니다.
가장 효과적인 분산 하이퍼파라미터는 특권 정보에 조건화하여 엔트로피 감소를 보상해야 합니다.

지식 증류(Distillation)는 대규모 언어 모델(LLM) 훈련의 핵심 원시 요소가 되었지만, 그 속성들은 아직 충분히 이해되지 못하고 있습니다. 우리는 엔트로피적 관점에서 접근하여, 학생 모델의 엔트로피가 데이터와 지식 증류 목표를 정의하는 분산(divergence)에 따라 어떻게 달라지는지 연구합니다. 우리는 forward KL이 학생 모델의 엔트로피를 교사 모델보다 높게 부풀린다는 것을 증명합니다. 크로스 엔트로피 훈련은 특수한 경우이므로, 이는 우리가 사전 훈련(pretraining) 및 지도 미세 조정(supervised finetuning)에서 정량적으로 검증하는 항등식(identity)을 제공합니다. 다른 분산들은 그러한 보장성을 가지지 못합니다: reverse KL은 학생과 교사 간의 격차가 너무 커질 때까지 엔트로피를 감소시키고, 두 값 사이를 보간(interpolating)하는 것은 훈련 초반에는 엔트로피를 부드럽게 변화시키지만 수렴 시점에서는 급격하게 변화시킵니다. 온-폴리시 지식 증류(on-policy distillation)에서 나타나는 낮은 엔트로피는 온-폴리시 샘플링(on-policy sampling)이 아닌 토큰 수준의 reverse KL에서 비롯됩니다. 따라서 분산은 암묵적인 엔트로피 정규화기(implicit entropy regularizer) 역할을 하며, 그 역할은 자가 지식 증류(self-distillation)에서 가장 명확합니다: 특권 정보(privileged information)에 조건화하는 것이 엔트로피를 감소시키므로, 가장 효과적인 분산 하이퍼파라미터는 이를 보상해 주는 것입니다.

AI 자동 생성 콘텐츠

원문 바로가기

분산(Divergence)이 지식 증류 과정에서 엔트로피를 제어하는 방식

요약

핵심 포인트

댓글