KQuant - 새로운 양자화 기술, KL-divergence 감소를 통해 Qwen Flash Next 180B, Qwen 27B, 35B

요약

Nace의 ML 엔지니어가 기존 양자화 방식의 정보 손실 문제를 해결하기 위해 자체 기술인 KQuant를 개발했습니다. 이 기술은 Qwen 계열 모델(4B, 27B, 35B 등)을 최적화하여 KL divergence 값을 크게 낮추고 정확도를 개선했습니다. 또한 M5 Pro 환경에서 기존 방식 대비 빠른 추론 속도도 제공합니다.

핵심 포인트

• KQuant는 KL divergence 감소를 통해 모델의 원본에 대한 예측 정확도를 높임.
• Qwen3.8-Flash-Next 등에서 공개 기준점 대비 최대 3.7배 개선을 입증함.
• Mac 환경 사용자를 위해 최적화된 Qwen 패키지를 무료로 제공함.
• KQuant를 적용한 모델은 기존 방식보다 추론 속도가 약 6–15% 빠름.