UniSVQ: 2-bit 통합 스칼라-벡터 양자화 (Unified Scalar-Vector Quantization)

2-bit 수준의 사후 학습 양자화 (Post-training quantization)는 대규모 언어 모델 (LLMs)의 저비용 배포 및 추론 가속화를 가능하게 합니다. 스칼라 양자화 (Scalar quantization, SQ)와 벡터 양자화 (Vector quantization, VQ)는 두 가지 주요 양자화 방법이지만, 전자는 상당한 성능 저하를 겪고 후자는 계산 및 저장 오버헤드를 발생시킵니다. 우리는 코드워드 (codewords)를 정수 격자 (integer lattices)의 아핀 변환 (affine transform)으로 매개변수화함으로써 스칼라 양자화와 벡터 양자화를 연결하는 통합 2-bit 양자화 프레임워크인 UniSVQ를 제안합니다. 이 구조는 최적화된 정수 커널 (integer kernels)과의 호환성을 유지하면서 VQ의 유연성을 상당 부분 보존합니다. 나아가 우리는 양자화 재구성 오차 (quantization reconstruction error)를 직접적으로 최소화하기 위한 데이터 기반 블록 단위 미세 조정 (block-wise fine-tuning) 전략을 도입합니다. 다양한 LLM 제품군과 제로샷 (zero-shot) 벤치마크에 걸친 광범위한 실험을 통해, UniSVQ가 최신 SQ 방법들을 일관되게 능가하고 고급 VQ 방법들과 대등한 성능을 달성하는 동시에 더 높은 추론 처리량 (inference throughput)을 제공함을 입증합니다.