효율적인 VQ-QAT 및 혼합 벡터/선형 양자화 신경망

요약

본 논문은 벡터 양자화(VQ)를 활용하여 신경망 가중치를 효율적으로 압축하는 세 가지 기법을 개발하고 검증했습니다. 코사인 유사도 기반 할당 방식을 채택하고, 이를 top-1 샘플링 및 스트레이트-through 추정기(STE)와 결합하여 가중 평균 재구성을 제거함으로써 접근 방식을 개선했습니다. 또한, 미분 가능한 신경 구조 검색(NAS)을 활용하여 레이어별 양자화 구성을 최적화하는 방법을 제시합니다.

핵심 포인트

• VQ 기반 모델 압축을 위한 세 가지 새로운 기법이 개발 및 검증되었습니다.
• 코사인 유사도 할당 방식에 top-1 샘플링과 STE를 결합하여 가중 평균 재구성을 제거함으로써 효율성을 높였습니다.
• 미분 가능한 신경 구조 검색(NAS)을 활용하여 레이어별 양자화 구성을 적응적으로 최적화할 수 있습니다.
• 제안된 방법은 VQ 기반 모델 압축의 설계 트레이드오프와 동작에 대한 중요한 통찰력을 제공합니다.