KronQ: 그래디언트 공분산을 도입한 새로운 사후 양자화 프레임워크

요약

KronQ는 그래디언트 공분산(gradient covariance)을 도입한 새로운 사후 양자화 프레임워크입니다. 이 프레임워크를 사용하여 Llama-3-70B 모델의 2비트 퍼플렉서티를 7.93으로 달성하며, 기존 GPTQ 방식과 차별화된 성능을 보여주었습니다.

핵심 포인트

• KronQ는 그래디언트 공분산을 활용한 사후 양자화 프레임워크입니다.
• Llama-3-70B 모델에서 2비트 퍼플렉서티 7.93을 달성했습니다.
• 기존 GPTQ 방식 대비 성능 개선을 목표로 합니다.