모델 양자화 (Model quantization)는 효율적인 대규모 언어 모델 (Large Language Model, LLM) 배포를 위해 필수적이 되었지만, 기존 방식들은 명확한 트레이드오프 (trade-offs)를 수반합니다. GPTQ 및 AWQ와 같은 방법들은 실질적인 압축을 달성하지만 손실이 발생하는 (lossy) 반면, 무손실 (lossless) 기술은 충실도 (fidelity)를 보존하지만 일반적으로 추론을 가속화하지는 못합니다. 본 논문은 양자화된 LLM을 위한 세 가지 상호 보완적인 무손실 개념을 통해 통계적 무손실 (statistically-lossless) 압축이라는 중간 지점을 탐구합니다. 첫째, 태스크 무손실 (task-lossless) 압축은 자연스러운 샘플링 분산 (sampling variance) 범위 내에서 제로샷 (zero-shot) 벤치마크 정확도를 보존하며, 공격적인 비트 너비 (bitwidths)에서도 달성 가능합니다. 둘째, 우리는 양자화된 모델의 다음 토큰 분포 (next-token distribution)가 원본과 실질적으로 구별할 수 없을 정도여야 한다는 더 엄격한 개념인 분포 무손실 (distribution-lossless) 압축을 공식화하고, 최적 결합 (optimal coupling) 하에서의 최대 토큰 일치 확률인 기대 수락률 (Expected Acceptance Rate, EAR)을 직접 해석 가능한 충실도 지표로 제안합니다 (예를 들어, EAR >= 0.99는 99%의 일치를 나타냄). 셋째, 우리는 대칭 양자화 (symmetric quantization)가 비대칭 양자화 (asymmetric quantization)에 비해 노이즈 분산을 감마 제곱 (gamma squared)만큼 팽창시킨다는 감마 제곱 분산 법칙 (gamma-squared variance law)을 증명하며, 이는 분포 무손실 충실도를 위해서는 비대칭성이 필요하지만 태스크 수준의 보존을 위해서는 필요하지 않음을 보여줍니다. 비대칭 양자화와 넓은 비트 너비 탐색을 사용하는 계층별 비균일 방식인 SLQ를 사용하여, 우리는 파라미터당 4비트보다 훨씬 낮은 수준(모델에 따라 3.3비트까지)에서 태스크 무손실 압축을, 평균적으로 파라미터당 56비트에서 분포 무손실 압축을 달성하였으며, 최적화된 커널 (kernels)을 통해 FP16 대비 1.73.6배의 추론 속도 향상을 달성했습니다.

arXiv : https://arxiv.org/abs/2605.02404
Full Paper : https://arxiv.org/pdf/2605.02404
GitHub : https://github.com/IST-DASLab/SLQ (코드 곧 공개 예정)

참고: 이 논문과 저장소(Repo)는 2개월 전의 것입니다. RedHat AI가 얼마 전에 트윗한 것을 보고 공유합니다. 전체 논문에서 llama.cpp와 GG가 몇 번 언급되는 것을 확인했습니다.

정확도/압축 (accuracy/compression) 관점에서 기존의 접근 방식은 두 가지 범주로 분류할 수 있습니다. 첫 번째는 Round-to-Nearest (RTN) 양자화 (Dettmers et al., 2022), llama.cpp (Gerganov & llama.cpp contributors, 2023), GPTQ (Frantar et al., 2023), 또는 AWQ (Lin et al., 2024)와 같은 손실 압축 (lossy compression) 기술로 대표되며, 이는 기존 모델을 4-bit 그룹화 가중치 양자화 (4-bit grouped weight quantization)와 같이 대중적인 하드웨어 지원 형식으로 매핑하는 것을 목표로 합니다. 우리는 GPU (Frantar et al., 2024; 2023; Lin et al., 2024) 및 CPU (Gerganov & llama.cpp contributors, 2023; Pegolotti et al., 2023; Ma et al., 2024) 전반에 걸친 폭넓은 지원을 고려하여 선택된 레이어별 비균등 스칼라 양자화 (layer-wise non-uniform scalar quantization)를 통해 거의 무손실에 가까운 양자화 모델을 얻는 데 집중합니다. /u/pmttyji에 의해 제출됨 [link] [comments]