Grid Games: 대규모 언어 모델 양자화를 위한 다중 그리드의 힘

요약

본 논문은 대규모 언어 모델(LLM) 양자화의 새로운 접근 방식인 '다중 그리드'를 제안합니다. 이는 기존의 고정된 부동 소수점 그리드를 가정하는 대신, 각 값 그룹에 대해 여러 4비트 그리드 중 최적의 것을 선택할 수 있도록 확장한 개념입니다. 연구 결과, 이 다중 그리드 접근 방식은 특히 가중치와 활성화 값 모두를 처리할 때 단일 그리드 FP4 대비 정확도를 지속적으로 향상시키는 것으로 나타났습니다.

핵심 포인트

• 다중 그리드는 LLM 양자화에서 각 값 그룹에 대해 여러 4비트 그리드 중 최적의 스케일을 선택할 수 있게 합니다.
• 이 접근 방식은 기존의 단일 고정 부동 소수점 그리드(예: NF4)가 가지는 한계를 극복합니다.
• 연구에서는 PO2, MPO2, PO2(Split87), SFP4 등 여러 실용적인 다중 그리드 제품군을 구현했습니다.
• 적응형 그리드는 가중치 전용 및 가중치+활성화 방식 모두에서 단일 FP4 대비 정확도를 향상시킵니다.