다크 지식을 넘어: 신뢰할 수 있는 예측을 위한 Mixup 기반 증류 (Mixup-Based Distillation)

지식 증류 (Knowledge Distillation, KD)와 mixup은 클래스 경계의 매끄러움 (smoothness)을 유도하는 데 효과적임이 입증되었습니다. KD는 확률 분포 내의 내재적인 클래스 관계를 포착하며, mixup은 입력값의 볼록 조합 (convex combinations)을 통해 이를 강제합니다. 그러나 이들의 상호작용, 특히 mixup이 학생 (student) 학습 단계에서만 적용될 때의 상호작용은 여전히 제대로 이해되지 않고 있습니다. 이러한 설정에서 교사 (teacher) 모델은 학습 과정에서 한 번도 본 적 없는 근방 분포 (vicinal distribution)에서 추출된 입력값에 대해 질의를 받게 되며, 이는 지식 전달에 미치는 영향이 아직 규명되지 않은 통제된 불일치 (mismatch)를 야기합니다. 본 연구에서는 이러한 불일치가 교사의 감독 신호 (supervisory signal)를 클래스 간 구조 (inter-class structure)보다는 분포적 혼란 (distributional confusion)에 의해 지배하게 만든다는 것을 보여줍니다. 그럼에도 불구하고, 학생 모델은 단순히 교사를 모방하는 데 그치지 않습니다. 학생 모델은 교사에게는 결여된 구조적 특성인 근방 영역에서의 더 높은 선형성 (linearity)을 독립적으로 습득하며, 이는 다크 지식 (dark-knowledge) 전달을 넘어섭니다. Mixup을 결합한 KD는 다양한 용량의 교사 모델을 사용한 CIFAR 및 ImageNet 데이터셋 전반에서 베이스라인 대비 학생 모델의 정확도를 일관되게 향상시키고 과잉 확신 (overconfidence)을 한 자릿수(an order of magnitude)만큼 감소시킵니다. 결정적으로, 보정 (calibration)은 정확도 전달과는 독립적으로 교사에서 학생으로 전파되며, 온도 스케일링 (temperature scaling)은 근방 학습 (vicinal training) 하에서 더욱 두드러지는 측정 가능한 정확도-보정 트레이드오프 (accuracy-calibration trade-off)를 지배합니다. 이러한 결과는 mixup 증류를 표준 KD의 저하된 버전이 아니라, 판별 성능 (discriminative performance), 불확실성 추정 (uncertainty estimation), 그리고 표현 기하학 (representational geometry)을 동시에 형성하는 더 풍부한 전달 채널로 재정의합니다.