기성 생성 모델을 이용한 객체 탐지기용 제로샷 양자화
요약
원본 데이터 없이 에지 디바이스용 객체 탐지 모델을 양자화하는 GoodQ 프레임워크를 제안합니다. 기성 생성 모델을 활용해 학습 세트를 구축하며, 정보 밀집 프롬프팅과 노이즈 감소 기술을 통해 저비트 양자화 성능을 극대화했습니다.
핵심 포인트
- 기성 생성 모델을 활용한 제로샷 양자화(ZSQ-OD) 파이프라인 GoodQ 제안
- 정보 밀집 프롬프팅을 통한 다중 인스턴스 이미지 생성 전략 도입
- 내재적 분포 인식 선택으로 클래스별 데이터 불균형 문제 해결
- 교사 가이드 적응형 노이즈 감소로 QAT 과정의 노이즈 완화
- W4A4 및 W3A3 극단적 저비트 환경에서 SOTA 성능 달성
객체 탐지 (Object Detection, OD) 모델이 에지 디바이스 (edge devices)에 배포되는 사례가 증가함에 따라, OD를 위한 제로샷 양자화 (Zero-Shot Quantization for OD, ZSQ-OD)는 원본 학습 데이터에 대한 접근이 금지된 상황에서 이러한 모델들을 양자화하는 것을 목표로 합니다. OD를 위한 제로샷 양자화 인식 학습 (Zero-Shot Quantization-Aware Training, QAT)에 관한 기존 연구들은 노이즈 최적화 (noise optimization)를 통해 학습 세트를 합성합니다. 그러나 이 방식은 저비트 (low-bit) 영역에서 성능을 유지하는 데 어려움을 겪습니다. 본 논문에서는 기성 생성 모델 (off-the-shelf generative models)을 사용하여 학습 세트를 구축하는 QAT 파이프라인인 GoodQ (Generative off-the-shelf models for object detector Quantization)를 소개합니다. 우리는 먼저 ZSQ-OD 작업에 생성 모델을 도입할 때 발생하는 세 가지 과제를 식별합니다: 1) 각 이미지는 여러 인스턴스 (instances)를 포함하는 밀집된 정보를 담고 있음, 2) 원본 데이터셋의 클래스별 분포 (class-wise distribution)가 불균형함, 3) 생성된 이미지에 할당된 의사 라벨 (pseudo-labels)이 QAT 과정에서 노이즈 신호로 작용할 가능성이 있음. GoodQ는 다음과 같은 방법으로 이러한 과제들을 해결합니다: 1) 다중 인스턴스 이미지를 생성하기 위한 정보 밀집 프롬프팅 (Information-Dense Prompting) 전략 도입, 2) 사전 학습된 클래스 분포를 맞추기 위한 내재적 분포 인식 선택 (Intrinsic Distribution-Aware Selection) 적용, 3) QAT 과정에서 발생하는 노이즈를 완화하기 위한 교사 가이드 적응형 노이즈 감소 (Teacher-guided Adaptive Noise Reduction) 채택. 우리의 프레임워크는 저비트 ZSQ (W4A4)에서 최첨단 (state-of-the-art) 성능을 달성하며, 양자화를 극단적인 비트 너비 (extreme bit-widths, W3A3)까지 확장합니다. 나아가, 우리는 GoodQ의 효능에 기여하는 근본적인 요인들을 밝히기 위해 광범위한 분석을 수행합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기