블랙박스 퓨샷 지식 증류에서의 다양성 개선

요약

본 논문은 대규모 학습 세트와 내부 접근이 필요한 기존 지식 증류(KD)의 한계를 극복하기 위해 블랙박스 퓨샷 지식 증류(black-box few-shot KD)에 초점을 맞춥니다. 연구진은 학생 모델 학습 시 중요한 요소인 데이터 다양성 부족 문제를 해결하고자, GAN 기반의 새로운 학습 계획을 제안했습니다. 이 방법은 선생님 모델의 감독 하에 고신뢰도 이미지를 적응적으로 선택하여 적대적 학습 과정에 실시간으로 도입함으로써 증류 세트의 다양성을 확장하고 학생 모델의 정확도를 크게 향상시킵니다.

핵심 포인트

• 기존 지식 증류(KD)는 대규모 데이터셋과 선생님 모델 접근이 필요하다는 한계가 있다.
• 본 연구는 실용적인 설정인 블랙박스 퓨샷 KD를 다루며, 특히 데이터 다양성 확보에 중점을 둔다.
• GAN 기반의 새로운 학습 계획을 제안하여, 고신뢰도 이미지를 적응적으로 선택하고 적대적 학습 과정에 통합한다.
• 이 접근법은 증류 세트의 다양성을 개선함으로써 학생 모델의 정확도를 향상시키고, 여러 퓨샷 KD 방법 중 SOTA 성능을 달성했다.