블랙박스 퓨샷 지식 증류에서의 다양성 개선

지식 증류 (Knowledge Distillation, KD) 는 성능을 크게 희생하지 않으면서 큰 네트워크 (선생님 모델) 를 작은 네트워크 (학생 모델) 로 효과적으로 압축하는 잘 알려진 기술입니다. 그러나 대부분의 KD 방법은 다양한 제한 사항으로 인해 거의 이용하기 어려운 대규모 학습 세트와 선생님 모델에 대한 내부 접근이 필요합니다. 이러한 과제는 학생 모델이 적은 이미지와 블랙박스 형태의 선생님 모델을 사용하여 학습되는, 보다 실용적인 설정인 블랙박스 퓨샷 지식 증류 (black-box few-shot KD) 에서 비롯되었습니다. 최근의 접근법들은 일반적으로 추가적인 합성 이미지를 생성하지만, 학생 모델 학습에 중요한 요소인 다양성을 촉진하기 위한 능동적 전략을 결여하고 있습니다. 이러한 문제들을 해결하기 위해 우리는 생성적 적대 신경망 (Generative Adversarial Networks, GAN) 에 대한 새로운 학습 계획을 제안합니다. 이 계획에서는 선생님 모델의 감독 하에 고신뢰도 이미지를 적응적으로 선택하여 적대적 학습 (adversarial learning) 과정에 실시간으로 도입합니다. 우리의 접근법은 증류 세트의 다양성을 확장하고 개선하여 학생 모델의 정확도를 크게 향상시킵니다. 광범위한 실험을 통해 우리는 다른 퓨샷 KD 방법들 사이에서 7 개의 이미지 데이터셋에서 최첨단 (state-of-the-art) 결과를 달성했습니다. 코드는 https://github.com/votrinhan88/divbfkd 에서 이용 가능합니다.