특징 정렬(Feature Alignment) 및 스케일링(Scaling)을 통한 멀티 도메인 및 롱테일 양자화 연구

심층 신경망(Deep Neural Networks)을 양자화(Quantizing)하는 것은 자원이 제한된 장치에서 효율적인 추론(Inference)을 수행하기 위해 필수적입니다. 그러나 기존의 대부분의 방법은 단일 도메인(Single-domain) 및 클래스 균형이 잡힌 데이터(Class-balanced data)를 위해 설계되었으며, 도메인 변화(Domain shifts)나 심각한 클래스 불균형(Class imbalance)이 존재하는 실제 환경에 대해서는 충분히 탐구되지 않았습니다. 본 연구에서는 CDF 기반 투영(CDF-based projection)을 통해 도메인 분포를 정렬하고, 민감도 인지 가중치 집계(Sensitivity-aware weight aggregation)를 사용하여 멀티 도메인 양자화를 안정화하는 효율적 멀티 도메인 정렬 양자화(Efficient Multi-Domain Alignment Quantization, EmaQ)를 통해 이러한 과제들을 해결합니다. 나아가, 다수 클래스의 과잉 확신(Overconfidence)을 완화하기 위해 클래스 조건부 분산 스케일링(Class-conditioned variance scaling)과 신뢰도 기반 로짓 조정(Confidence-based logit adjustment)을 도입함으로써 EmaQ를 롱테일 양자화(Long-tailed quantization)를 위한 EmaQ-LT로 확장합니다. 이론적 분석을 통해 수렴 보장(Convergence guarantees)을 확립하고 제안된 민감도 및 스케일링 메커니즘의 근거를 마련합니다. 표준, 멀티 도메인(Office-31, Digits), 그리고 롱테일(SynDigits-LT, CIFAR-10-LT, CIFAR-100-LT) 벤치마크에 대한 실험 결과, EmaQ와 EmaQ-LT가 도메인 변화 및 클래스 불균형 상황에서도 강력한 저비트(Low-bit) 성능을 달성함을 보여줍니다.