Kimi K3 로컬 배포: 1.56 TB를 다운로드하기 전 하드웨어를 확인하세요

빠른 답변

Kimi K3는 이제 오픈 웨이트 (open-weight) 모델이지만, "오픈"이라고 해서 "Mac에서 실행된다"는 의미는 아닙니다. Moonshot AI는 2026년 7월 27일에 전체 모델 저장소 (repository)를 공개했습니다. 현재 Hugging Face 아티팩트 (artifact)에는 총 약 1.56 TB에 달하는 96개의 safetensors 샤드 (shards)가 포함되어 있으며, 공식 기술 포스트에서는 64개 이상의 가속기 (accelerators)를 갖춘 슈퍼노드 (supernode) 배포를 권장합니다.

대부분의 독립 개발자에게 실질적인 선택지는 다음과 같습니다:

• 제품 평가를 위해 Kimi Code 또는 호스팅된 Kimi API를 사용합니다.
• 관리형 K3 엔드포인트 (endpoint)가 필요한 경우 인증된 추론 제공업체 (inference provider)를 사용합니다.
• 이미 멀티 가속기 클러스터 (multi-accelerator cluster)를 운영 중이며 런타임 (runtime), 라이선스 (license), 스토리지 (storage), 네트워킹 (networking), 그리고 롱 컨텍스트 (long-context) 메모리 예산을 검증할 수 있는 경우에만 전체 웨이트 (weights)를 셀프 호스팅 (self-host)합니다.

웨이트를 다운로드하는 것부터 시작하지 마세요. 배포 게이트 (deployment gate)부터 시작하세요.

대상 독자

이 가이드는 Kimi K3 로컬 하드웨어 요구 사항을 찾고 있거나, 오픈 웨이트를 셀프 호스팅할지 결정하거나, 관리형 제공업체를 평가하려는 개발자를 위한 것입니다.

만약 귀하의 작업이 API 통합, 가격 책정, 보존된 사고 이력 (thinking history) 또는 도구 루프 (tool loops)에 관한 것이라면, 기존의 Kimi K3 API 출시 가이드를 사용하십시오. 이 페이지는 다른 질문에 답합니다: 출시된 아티팩트가 귀하의 하드웨어에서 운영 측면에서 현실적인가?

변경된 사항

7월 16일 출시 당시에는 전체 웨이트가 7월 27일까지 도착할 것이라고 처음 언급되었습니다. 실제로 그렇게 되었습니다: Moonshot은 Kimi K3 저장소 (repository), 모델 웨이트 (model weights), 기술 보고서 (technical report), 배포 지침 (deployment pointers), 그리고 Kimi K3 라이선스 (License)를 공개했습니다.

출시된 모델은 토큰당 1,040억 개의 활성 파라미터 (active parameters)를 가진 2.8조 파라미터 규모의 전문가 혼합 (Mixture-of-Experts, MoE) 시스템입니다. 이 모델은 MXFP4 웨이트 (weights)와 MXFP8 활성화 (activations)를 사용하며, 96개의 웨이트 샤드 (weight shards)를 가지고 있고, 1,048,576 토큰의 컨텍스트 윈도우 (context window)를 지원합니다. Moonshot은 vLLM, SGLang, 그리고 TokenSpeed를 권장 추론 엔진 (inference engines)으로 나열하고 있습니다.

이러한 사실들은 "가중치(weights)를 사용할 수 있는가?"라는 질문에 대한 답을 종결짓습니다. 하지만 이것이 노트북, 데스크톱 워크스테이션, 또는 임의의 GPU 서버에서 모델을 원활하게 실행할 수 있음을 증명하는 것은 아닙니다.

오픈 웨이트(Open weights)가 로컬 노트북 사용을 보장하지는 않습니다

다음 세 가지 별도의 확인 절차를 거치십시오:

셀프 호스팅(Self-hosting) 결정 트리

Lane A: Mac, 노트북 또는 단일 워크스테이션

호스팅된 API 또는 Kimi Code를 사용하십시오. 가중치와 아키텍처(architecture)를 검토할 수는 있지만, 공식 배포 가이드는 전체 K3 체크포인트(checkpoint)를 일반 소비자용 로컬 모델로 규정하고 있지 않습니다.

Lane B: 실험을 위한 소수의 가속기(accelerators)

공식 엔진 레시피(engine recipe)가 귀하의 토폴로지를 지원하는 경우에만 작은 호환성 조사(compatibility probe)를 실행하십시오. 전체 컨텍스트(context), 프로덕션 처리량(throughput), 또는 안정적인 도구-에이전트 지연 시간(tool-agent latency)을 보장하지 마십시오. 추가 투자를 하기 전에 결과를 호스팅된 API와 비교하십시오.

Lane C: 64개 이상의 가속기 클러스터

제한된 배포 평가(bounded deployment evaluation)를 진행하십시오. 토폴로지, 상호 연결(interconnect), 스토리지 처리량, 체크포인트 로딩, 엔진 커밋(engine commit), 컨텍스트 목표, 동시성(concurrency), 그리고 장애 복구(failure recovery)를 검증하십시오. "모델이 실행된다"는 것만으로는 프로덕션 수락 결과라고 할 수 없습니다.

Lane D: 클러스터는 없지만 프라이빗 엔드포인트(private endpoint)가 필요한 경우

모델 이름 문자열을 신뢰하기보다 Moonshot의 공식 Vendor Verifier를 통해 제공업체를 평가하십시오. Verifier는 비전 (vision), 긴 컨텍스트 (long context), 코딩 (coding), 파라미터 동작 (parameter behavior), 도구 호출 (tool calls) 및 사용량 계정 (usage accounting)에 대한 성능 테스트 결과를 게시합니다. 데이터 처리 및 상업적 약관은 별도로 확인하십시오.

7가지 배포 게이트 (deployment gates)

1. 아티팩트 게이트 (Artifact gate)

리포지토리 리비전 (revision), 96개 샤드 (shard) 이름 전체, 총 바이트 수, 토크나이저/설정 (tokenizer/config) 파일, 그리고 재현 가능한 다운로드 매니페스트 (manifest)를 기록하십시오. 중단된 전송을 재개하고 엔진 시작 전에 파일 무결성을 검증하십시오.

2. 라이선스 게이트 (License gate)

제3자의 요약본이 아닌 Kimi K3 라이선스 (License)를 직접 읽으십시오. 광범위한 사용을 허용하지만, 특정 모델 서비스형 (Model-as-a-Service) 비즈니스 및 매우 큰 규모의 상업적 제품에 대한 조건이 포함되어 있습니다. 귀하의 배포에 어떤 조건이 적용되는지 기록하십시오. 답변이 상업적 권리에 영향을 미치는 경우 전문가의 조언을 구하십시오.

3. 엔진 게이트 (Engine gate)

공식적으로 연결된 엔진 중 하나를 선택하십시오. 엔진 버전, K3 레시피 (recipe) 리비전, CUDA/드라이버 스택, 그리고 모델 리비전을 고정하십시오. 지원되지 않는 변환이나 커뮤니티 포트 (community ports)는 별도의 실험으로 취급하십시오.

4. 토폴로지 게이트 (Topology gate)

가속기(accelerator) 개수와 유형, 장치당 메모리, 상호 연결 (interconnect), 호스트 RAM, 로컬 및 공유 스토리지, 네트워크 패브릭 (network fabric), 그리고 예상되는 체크포인트 로드 시간을 기록하십시오. 토폴로지를 Moonshot의 64개 이상의 가속기 권장 사항과 비교하십시오.

5. 컨텍스트 게이트 (Context gate)

제품에 실제로 필요한 컨텍스트 길이 (context lengths)를 테스트하십시오. 예를 들어 1M를 시도하기 전에 32K, 128K, 256K 등을 테스트하십시오. 첫 번째 토큰 생성 시간 (time to first token), 디코딩 속도 (decode speed), 메모리 여유 공간 (memory headroom), 캐시 증가 (cache growth), 그리고 실패 동작을 측정하십시오. 최대 컨텍스트 사양은 서비스 수준 목표 (SLO)가 아닙니다.

6. 에이전트 계약 게이트 (Agent-contract gate)

K3는 항상 사고하며, 멀티 턴 (multi-turn) 및 도구 호출 (tool-call) 세션을 위해 보존된 사고 이력 (preserved thinking history)을 필요로 합니다. 셀프 호스팅된 엔드포인트에 대해 전체 이력 및 도구 루프 체크 (full-history and tool-loop checks)를 재사용하십시오. 구조화된 출력 (structured output), 도구 호출 ID (tool-call IDs), 비전 입력 (vision input), 취소 (cancellation), 재시도 (retries), 그리고 세션 중간의 모델 전환 거부 (mid-session model-switch rejection)를 검증하십시오.

7. 운영 게이트 (Operations gate)

가속기 손실 (accelerator loss) 1회, 호스트 재시작 (host restart) 1회, 손상된 샤드 (corrupted shard) 1회, 요청 취소 (request cancellation) 1회, 그리고 과부하된 큐 (overloaded queue) 1회를 테스트하십시오. 프로덕션 트래픽을 유입시키기 전에 호스팅된 API 또는 이전 모델로의 롤백 (rollback)을 정의하십시오.

복사 가능한 준비 기록 (Copyable readiness record)

kimi_k3_self_host:
  model_revision: ""
  weight_shards: 96
...

가속기 개수는 공식 권장 사항에 따른 시작점일 뿐, 보편적인 최소치는 아닙니다.

흔한 실수 (Common mistakes)

활성 파라미터 (active parameters)를 가중치 저장 용량과 동일시하는 것. 토큰당 104B 파라미터만 활성화되지만, 전체 2.8T 파라미터 체크포인트 (checkpoint)는 여전히 저장 및 배포되어야 합니다.

가중치 원본 크기를 VRAM 요구량으로 사용하는 것. 이는 런타임 (runtime) 및 컨텍스트 (context) 의존적 메모리를 누락합니다.

단일 턴 프롬프트 (one-turn prompt)만 테스트하는 것. 실제 에이전트에서는 K3의 보존된 사고 (preserved-thinking) 및 도구 루프 (tool-loop) 계약이 중요합니다.

가중치가 공개되어 있다는 이유로 라이선스를 무시하는 것. 공개 다운로드와 제한 없는 상업적 배포는 서로 다른 주장입니다.

FAQ

Kimi K3를 Mac mini에서 실행할 수 있나요?

공식적인 전체 모델 Mac mini 레시피는 없습니다. 공개된 아티팩트 (artifact)는 약 1.56 TB이며, Moonshot은 64개 이상의 가속기 슈퍼노드 (accelerator supernodes)를 권장합니다. 현실적인 제품 작업을 위해서는 API를 사용하십시오. 향후 커뮤니티 기반의 로컬 포팅 버전은 검증될 때까지 별도의, 축소된, 또는 실험적인 구현으로 간주하십시오.

Kimi K3의 최소 VRAM은 얼마인가요?

Moonshot은 하나의 보편적인 최소치를 발표하지 않습니다. 이는 엔진 (engine), 토폴로지 (topology), 컨텍스트 (context), 동시성 (concurrency), 그리고 런타임 오버헤드 (runtime overhead)에 따라 달라집니다. 방어 가능한 시작 사실은 1.56 TB의 가중치 세트와 64개 이상의 가속기 권장 사항입니다.

Kimi K3는 정말 오픈 웨이트 (open-weight)인가요?

네. Moonshot은 Kimi K3 라이선스 (Kimi K3 License) 하에 전체 가중치 (full weights)를 공개했습니다. 상업적 셀프 호스팅 (commercial self-hosting)을 하거나 모델 서비스를 제공하기 전에 해당 라이선스를 읽어보시기 바랍니다.

출처 (Sources)

• Moonshot AI: Kimi K3 기술 출시 및 배포 가이드
• Moonshot AI: 공식 Kimi K3 저장소 및 기술 보고서
• Hugging Face: 공식 Kimi K3 모델 파일
• Kimi K3 라이선스 (Kimi K3 License)
• Moonshot AI: Kimi 벤더 검증기 (Kimi Vendor Verifier)