BaKron: Kronecker-Factored Hessian을 이용한 효율적인 양자화 (Quantization)

요약

BaKron은 Kronecker-factored Hessian 근사치를 활용하여 신경망 양자화 알고리즘의 효율성을 높이는 새로운 방법론을 제안합니다. 기존 GPTQ 방식의 계산 비용 문제를 해결하기 위해 재귀적 분할 정복 구조를 도입하여 연산 복잡도를 획기적으로 줄였습니다.

핵심 포인트

• Kronecker-factored Hessian 근사를 통한 풍부한 곡률 정보 활용
• 재귀적 분할 정복 구조를 통해 연산 복잡도를 $O(m^2n^2)$에서 $O(mn(m+n))$으로 감소
• GPTQ와 유사한 3차 스케일링을 유지하면서 양방향 상관관계 포착 가능
• 기본 양자화기 및 Hessian 추정기에 적용 가능한 모듈식 설계