요약

cyankiwi AWQ 26.05 업데이트는 기존 AWQ 방식의 한계를 극복하기 위해 채널별 스케일과 양자화 범위를 재구성 목적 함수를 바탕으로 공동 최적화(jointly fits)합니다. Llama-3 시리즈를 대상으로 한 벤치마크 결과, 모든 모델에서 BF16 베이스라인 대비 가장 낮은 KL 발산(KLD)을 기록하며 우수한 품질을 입증했습니다.

핵심 포인트

• 기존 AWQ의 순차적 최적화 방식에서 발생하는 반올림 오차 문제를 해결하기 위해 스케일과 양자화 범위를 공동 피팅함
• 재구성 목적 함수(reconstruction objective)를 도입하여 양자화 품질 손실을 최소화함
• Llama-3.2-3B, Llama-3.1-8B, Llama-3.3-70B 모델 테스트 결과, 타 4-bit 방식 대비 가장 낮은 KLD 달성