요약

Unsloth를 통해 Kimi K3 모델을 로컬 환경에서 사용할 수 있도록 다양한 비트(8, 4, 2, 1)로 양자화하여 공개했습니다. 특히 1-bit 양자화 모델은 원본 대비 크기를 약 3배 줄이면서도 78.9%의 높은 정확도를 유지합니다.

핵심 포인트

• Kimi K3 모델의 다양한 양자화 버전(8, 4, 2, 1-bit) 공개
• 1-bit 양자화 시 모델 크기가 1.56TB에서 594GB로 대폭 감소
• 최소 크기 모델에서도 78.9%의 정확도 유지
• Unsloth 기술을 활용한 효율적인 모델 압축