여러분, "누구나 배포할 수 있는" Kimi K3 1-bit 양자화 (Quantization) 버전이 나왔습니다😂

Mac Studio 128GB에서 바로 실행할 수 있게 되었습니다~

Kimi K3를 이제 로컬 (Local)에서 돌릴 수 있습니다. Unsloth 팀의 경쟁이 정말 치열하네요, 모델 크기를 594GB까지 직접 압축했습니다.

원래 규모가 1.56TB였던 2.8T 모델을 1-bit 양자화 (Quantization)한 후 부피를 62% 줄였으며, 정확도는 약 78.9%를 유지했습니다.

Mac Studio + 128GB 메모리 구성에서 바로 실행할 수 있습니다. 그들은 이것이 현재 가장 강력한 오픈 소스 (Open Source) 모델이라고 직접 언급하며, 전체 가이드와 GGUF 가중치 (Weights)를 공개했습니다.

짧은 시간 내에 누군가가 K3를 개인용 하이엔드 장비에 집어넣은 것은 벌써 두 번째입니다. 이전에는 스트리밍 로딩 (Streaming Loading) + 전문가 가지치기 (Expert Pruning)를 통해 350GB로 압축했었고, 이제 Unsloth는 극한의 양자화 (Quantization)를 통해서도 로컬 추론 (Local Inference)이 가능하게 만들었습니다.

주소는 댓글창을 확인하세요👇