고속 양자화 행렬 곱셈 II

요약

본 연구는 양자화 행렬 곱셈(Quantized Matrix Multiplication, MatMul)의 두 번째 파트를 다루며, 특히 공분산 행렬 $\Sigma_X$를 활용할 수 있는 설정을 논의합니다. 이는 LLM 가중치 전용 사후 훈련 양자화에서 발생하는 일반적인 상황입니다. 연구진은 기존의 실용적 알고리즘인 GPTQ가 비트율을 균등하게 할당하는 방식의 한계를 지적하고, 정보 이론적 최적 솔루션인 워터필링(Waterfilling) 기법을 적용하여 성능 개선 가능성을 제시합니다. 실험 결과, WaterSIC와 무작위 회전을 적용한 GPTQ 모두 고속 비트율 영역에서 매우 높은 성능을 보이며, 그 차이가 0.1 bit 이내로 나타나 GPTQ가 이미 최적에 근접함을 시사합니다.

핵심 포인트

• LLM 가중치 전용 양자화는 공분산 행렬 $\Sigma_X$를 활용할 수 있는 설정을 기반으로 합니다.
• 워터필링(Waterfilling) 기법은 비트율 할당을 최적화하는 정보 이론적 접근 방식입니다.
• GPTQ와 같은 실용적인 알고리즘은 워터필링의 원리를 적용하여 성능 개선이 가능합니다.
• 무작위 회전을 적용한 GPTQ는 고속 비트율 영역에서 WaterSIC와 유사하게 높은 성능을 유지함을 실험적으로 입증했습니다.