새로운 양자화 유형 제안: IQ2_K, IQ3_K, IQ4_K, IQ5_K 및 IQ6_K

요약

새로운 양자화 유형(IQ2_K부터 IQ6_K)이 제안되었으며, 이는 기존 Q-quant와 유사한 파일 크기를 유지하면서 KLD(Kullback–Leibler Divergence)를 크게 개선했습니다. 다만, 성능 저하가 약간 발생하며, 이 양자화 과정 자체가 다소 느리다는 특징을 가집니다.

핵심 포인트

• IQ2_K~IQ6_K와 같은 새로운 양자화 유형 제안
• 기존 Q-quant 대비 KLD(Kullback–Leibler Divergence) 개선 효과 확인
• 파일 크기는 기존 방식과 유사하게 유지됨
• 양자화 과정의 속도 저하가 발생할 수 있음