1조 개의 파라미터를 가진 Kimi K2.7 Code가 이제 Unsloth를 통해 로컬에서 직접 구동할 수 있게 되었습니다. Dynamic 2-bit 양자화 (Quantization)를 거친 후 용량은 325GB로 줄어들었으며, 40+ tok/s의 속도를 낼 수 있습니다.

Unsloth는 이 거대 모델을 Dynamic 2-bit 방식을 사용하여 48% 압축했습니다. 중요한 레이어 (Layer)는 더 높은 정밀도를 유지하고, 나머지 부분은 과감하게 양자화했습니다.

그 결과 330GB의 RAM/VRAM만 있으면 구동이 가능하며, 속도도 꽤 괜찮습니다. 전정밀도 (Full Precision)로도 구동할 수 있지만, 그 경우에는 610GB가 필요합니다.

이전에는 이렇게 큰 코딩 (Coding) 모델은 클라우드에서만 사용해야 하거나 아예 구동조차 불가능하다고 생각했지만, 이제 오픈 소스 커뮤니티가 최첨단 능력을 자신의 기기에서 장기적으로 구동할 수 있는 형태로 직접 패키징해냈습니다.

장기 작업 (Long-context tasks), 복잡한 추론 (Complex reasoning), 에이전트 (Agent) 워크플로우 모두 로컬에서 폐쇄 루프 (Closed-loop)로 구현할 수 있습니다.

가장 중요한 점은 이것이 단순히 무식하게 압축한 양자화가 아니라, 모델의 추론 효율성을 보존한 최적화라는 것입니다.

Kimi는 원래 "생각을 덜 하는 (Less overthinking)" 특성 덕분에 강력했는데, 이제 로컬 버전에서도 이 장점을 그대로 이어받을 수 있게 되었습니다.