다양한 이미지 사전 지식을 활용한 블랙박스 데이터 프리 지식 증류

지식 증류 (Knowledge Distillation, KD) 는 복잡한 교사 네트워크의 전문성을 효율적인 학생 모델로 전달하는 중요한 메커니즘을 나타냅니다. 그러나 분산형 또는 보안이 강화된 AI 생태계에서는 사생활 보호 규정과 독점적 이익으로 인해 교사 네트워크의 인터페이스와 원래 데이터셋에 대한 접근이 제한되는 경우가 많습니다. 이러한 제약 조건은 상위 1 순위 예측 (top-1 predictions) 만 가능하고 학습 데이터는 전혀 없는 어려운 블랙박스 데이터 프리 지식 증류 시나리오를 정의합니다. 최근 방법론들은 합성 데이터를 활용하지만, 여전히 데이터 다양성과 증류 신호 측면에서 한계를 겪고 있습니다. 우리는 이러한 과제를 해결하기 위해 이미지 사전 지식의 합성 (Synthesis of image priors) 을 통해 다양한 시각적 패턴과 의미를 포착하고, (2) 합성 샘플 간의 집단적 구별력을 대비 학습 (contrastive learning) 을 통해 향상시키며, (3) 연산 확률 기반 지식 증류 (soft-probability KD) 를 가능하게 하는 새로운 프라이머 학생 (primer student) 을 통한 증류라는 세 단계 협력 파이프라인을 갖춘 '다양한 이미지 사전 지식 지식 증류 (DIP-KD)' 프레임워크를 제안합니다. 12 개 벤치마크에 대한 평가 결과, DIP-KD 는 최첨단 성능을 달성했으며, 제한된 AI 환경에서의 지식 획득에 데이터 다양성이 결정적임을 확인하는 아블레이션 (ablations) 결과가 이를 뒷받침합니다.