Atomic Labs의 1-bit 양자화(Quant)는 2.8T Kimi K3를 590GB(-62%)로 축소하면서도 78.7%의 품질과 1M 컨텍스트(Context)를 유지합니다. 4x B200에서 실행 가능합니다.

Atomic Labs의 1-bit 양자화(Quantization)는 Kimi K3의 2.8T 파라미터(Parameters)를 62% 감소된 590GB로 축소합니다. @rohanpaul_ai의 보고서에 따르면, 이 모델은 78.7%의 품질과 전체 1M 컨텍스트(Context)를 유지합니다.

주요 사실

• 590GB 점유 공간: 기존 2.8T 파라미터(Parameters)에서 62% 감소
• 1-bit 정밀도(Precision)에서 78.7% 품질 유지
• 2.1 bits에서 769GB 크기일 때 87.2% 일치율
• 1-bit에서 전체 1M 토큰 컨텍스트(Context) 보존
• 4x NVIDIA B200 GPU에서 실행 가능

Atomic Labs는 2.8조 개의 파라미터(Parameters)를 가진 모델을 590GB 점유 공간으로 압축한 Kimi K3의 1-bit 양자화(Quantized) 버전을 발표했습니다. @rohanpaul_ai에 따르면, 이는 원래 모델 품질의 78.7%와 전체 1M 토큰 컨텍스트(Context) 창을 유지하면서 달성한 62%의 크기 절감입니다. 가중치(Weights)는 Hugging Face에서 확인할 수 있습니다.

양자화 사다리 (The quantization ladder)

이번 출시는 각각 품질과 점유 공간 사이의 뚜렷한 트레이드오프(Tradeoff)를 가진 여러 정밀도(Precision) 계층을 포함합니다. 2.1 bits의 경우 모델 크기가 769GB로 늘어나지만, 원본과의 일치율은 87.2%로 급증합니다. 3.4 bits로 높이면 품질 이득은 단 0.5%포인트에 불과한 반면 428GB가 추가로 필요합니다. 이는 2.1 bits가 대부분의 배포 환경에서 실질적인 최적점(Sweet spot)임을 시사하는 명확한 수확 체감의 절벽(Diminishing-returns cliff)입니다.

1-bit 변형의 78.7% 유지율도 주목할 만하지만, 진짜 핵심은 컨텍스트 창(Context window)입니다. 대부분의 공격적인 양자화(Quantization)는 긴 컨텍스트 성능을 가장 먼저 희생합니다. 1-bit 정밀도(Precision)에서 전체 1M 토큰을 유지한다는 것은, 이 양자화 방식이 단순히 피드포워드 레이어(Feed-forward layers)뿐만 아니라 어텐션 메커니즘(Attention mechanism)의 수치 범위(Numerical range)를 보존하고 있음을 시사합니다.

실제 성능 테스트

Unsloth 终于出手了：Kimi K2 1.8-bit 量 …

보고서에는 네 가지 양자화 (Quantization) 모델 모두가 낙하 물리 현상을 성공적으로 처리한 HTML 3D 물리 벤치마크가 포함되어 있습니다. 하지만 로컬에서 실행된 K3만이 요청된 작동 가능한 윈치(winch)를 구축했습니다. 이는 1-bit 및 2.1-bit 변체와 고정밀 버전 사이를 가르는 기능적 격차입니다. 연구팀은 4개의 NVIDIA B200 GPU에서 실행되는 1-bit 모델을 시연했습니다.

이는 엣지 추론 (Edge Inference) 측면에서 의미 있는 데이터 포인트입니다. 590GB 모델은 NVLink가 장착된 단일 하이엔드 서버 노드에 들어가는 반면, 기존 2.8T 모델은 멀티 노드 클러스터가 필요합니다. 메모리 점유율(Memory footprint)의 62% 감소는 토큰당 추론 비용의 직접적인 절감으로 이어지지만, 출처에서는 토큰 생성 처리량 (Throughput)이나 지연 시간 (Latency) 수치는 공개하지 않았습니다.

주목해야 할 점

현재 보고서에서 누락된 MMLU 및 HumanEval과 같은 표준 스위트 (Standard suites)에 대한 Atomic Labs의 벤치마크 점수 발표를 주목하십시오. 또한, 2.1-bit 변체가 단 179GB의 용량 증가만으로 1-bit 대비 8.5점의 품질 향상을 보인다는 점을 고려할 때, 이것이 권장되는 기본값 (Default)이 될지 여부도 추적해야 합니다. 소비자용 하드웨어에서의 제3자 재현 (Third-party replication) 여부가 실제 활용 가능성을 결정할 것입니다.

__ [02 Aug 업데이트, gn_gpu_cluster 제공] _

이번 출시는 Kimi K3 베이스 모델의 개발사인 Moonshot AI가 Alibaba의 클라우드를 통해 20,000개의 Nvidia 칩으로 학습을 진행하고 있다는 Startup Fortune의 보도 속에 나왔습니다. 워싱턴 당국은 이 계약이 수출 통제를 위반했다고 주장하는 것으로 알려졌으나, 공식적인 기소는 확인되지 않았습니다. Atomic Labs의 1-bit 양자화 작업은 Moonshot의 자체 배포와는 별개이지만, 이 논란은 두 엔티티 모두의 향후 하이엔드 하드웨어 접근성에 영향을 미칠 수 있습니다.

원문은 gentic.news에 게시되었습니다.