Log$_b$Quant: 로그 공간에서의 언어 모델 양자화 (Quantizing Language Models in Logarithmic

원문 발행 2026. 07. 02. 01:13원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

기존 균등 양자화의 한계를 극복하기 위해 조정 가능한 밑을 사용하는 새로운 로그 양자화 방식인 Log$_b$Quant를 제안합니다. 이 방식은 4비트 정밀도에서 기존 비대칭 선형 양자화보다 우수한 성능을 보이며, 메모리 절감과 속도 향상을 동시에 달성합니다.

핵심 포인트

조정 가능한 밑을 가진 새로운 로그 양자화 방식 Log$_b$Quant 제안
저빈도 고진폭 가중치에 대한 최적화된 표현 가능
4비트 정밀도에서 기존 비대칭 선형 양자화 대비 우수한 성능 입증
소비자급 GPU 및 엣지 디바이스 환경에 최적화된 메모리 및 속도 효율

양자화 (Quantization)는 현대 언어 모델의 메모리 요구 사항과 추론 속도를 줄이는 데 매우 귀중한 도구가 되었으며, 특히 소비자용 설정 및 엣지 디바이스 (edge devices)에서 모델을 사용할 수 있도록 만드는 데 기여해 왔습니다. 기존 연구들은 주로 균등 양자화 (uniform quantization) 코드북에 집중해 왔으나, 이러한 방식은 저빈도 고진폭 가중치 (low-frequency high-magnitude weights)로 인해 최적화되지 않은 표현 (suboptimal representations)이 나타나기 쉽습니다. 우리는 일반적인 파라미터 분포에 적응할 수 있도록 조정 가능한 밑 (adjustable bases)을 가진 새로운 로그 양자화 (logarithmic quantization) 방식인 Log$_b$Quant를 소개합니다. 우리는 우리의 방법이 텐서 단위 입도 (tensor-wise granularity)의 비대칭 선형 양자화 (asymmetric linear quantization)와 비교했을 때, 여러 성능 벤치마크에서 4비트 정밀도 (4-bit precision)로 우수한 성능을 보임을 입증하였으며, 동시에 적절한 속도 향상과 높은 메모리 절감 효과를 달성하여 소비자급 GPU에서의 개인적 사용에 적합함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

Log$_b$Quant: 로그 공간에서의 언어 모델 양자화 (Quantizing Language Models in Logarithmic

요약

핵심 포인트

댓글