Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
지식 증류 시 교사 모델의 절대적 특징이 아닌, 등가 클래스 내의 불변량을 학습해야 함을 이론적으로 규명합니다. Qwen2.5와 Llama-3.1을 통해 은닉 표현 매칭과 모델 능력 복구 사이의 관계를 기하학적으로 분석했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지식 증류 (Knowledge distillation)는 보통 교사 모델에서 무엇을 맞출 것인지(로짓 (logits), 은닉 특징 (hidden features), 또는 샘플 관계 (sample relations))를 선택하는 문제로 정의되는데, 이는 교사의 표현 (representation)이 일치시켜야 할 절대적인 좌표를 가지고 있다는 것을 전제로 합니다. 하지만 실제로는 그렇지 않습니다. 사전 학습된 표현 (pretrained representation)은 직교 및 등방성 스케일링 (orthogonal-and-isotropic-scaling) 등가 클래스 (equivalence class) 내에서만 식별 가능하므로, 학생 모델 (student)은 교사의 특징 (features)이 아니라 교사의 등가 클래스를 학습해야 합니다. 이를 조직하는 사실은 능력이 교사의 출력 함수 (output function)이며, 이는 클래스 작용 (class action)에 의한 몫 (quotient)을 통해 인수분해되는 클래스 불변량 (class invariant)이라는 점입니다. 따라서 목적 함수 (objective)가 해당 지점에서 정의될 때 능력을 정확하게 복구할 수 있습니다. 이는 절대적인 특징 매칭 (absolute feature matching)을 부적절한 문제 (ill-posed)로 만들며, 허용 가능한 감독 (admissible supervision)은 클래스 불변량 (Gram structure, CKA, principal subspaces)을 목표로 하거나 좌표를 먼저 정렬하는 문제가 됩니다. 이를 통해 특징 매칭 (feature matching), 관계적 증류 (relational distillation), 정렬 (alignment), 그리고 접목 (grafting)을 하나의 기하학적 설명으로 통합합니다. 우리는 Qwen2.5와 Llama-3.1을 통해 우리의 프레임워크를 검증합니다. 복구 연구 (restoration study) 결과, 손상된 모델의 표현 (representation)은 복구(CKA ~ 0.99)할 수 있었으나 능력 (capability)은 복구하지 못했으며, 절제 연구 (ablation study)를 통해 그 원인을 격리했습니다. 즉, 출력 함수 (logit) 매칭이 능력을 주도하는 반면, 은닉 표현 (hidden representations) 매칭은 함수를 복구하지 않고 기하학적 구조를 정렬할 뿐입니다. 복구는 코퍼스 (corpus)가 커버하는 영역으로 제한되며, 접목 연구 (graft study)는 경계 중첩 (boundary overlap)이 이식 성공을 예측하지만, 이는 필요조건일 뿐 충분조건은 아님을 확인합니다.