Kimi K3.1 Pro의 가중치(weights)가 Hugging Face에 공개되었습니다. Zenn 기사에서는 구성과 벤치마크를 정리했습니다. 본 글은 실습 위주로 작성되었으며, API를 사용하기 시작할 때 반드시 알아야 할 5가지 핵심 사항으로 내용을 압축했습니다.
우선 주의사항이 있습니다. Kimi K3.1 Pro의 API 호출 및 셀프 호스팅(self-host) 구동은 필자가 직접 실행하지 않았습니다 (API 키와 대규모 GPU가 없기 때문입니다). 실제로 확인한 부분은 다음 절의 툴 호출 루프를 가상 클라이언트(pseudo client)로 구동해 본 부분뿐입니다. 그 외 내용은 모델 카드 및 관련 기사에 기술된 내용을 정리한 것입니다.
| 항목 | 내용 |
|---|
| 모델 | 2.8T MoE (활성 104B), 텍스트 및 이미지 입력, 1M 컨텍스트 |
| ... | |
추론 강도는 reasoning_effort로 low, high, max 중에서 선택합니다. 기본값은 max입니다※1. | |
기본값이 최대(max)이기 때문에 아무것도 지정하지 않으면 사고 토큰(thought token)이 많아져 출력 비용과 대기 시간이 늘어납니다. 출력이 10/100만 토큰이므로, 정형화된 추출이나 라우팅 작업에서는 low부터 시도하는 것이 안전합니다.
OpenAI와 호환되는 클라이언트에서는 고유 파라미터를 extra_body를 통해 전달하는 것이 일반적입니다. 다만, 이 파라미터 전달 방식이 공식적으로 어떻게 명시되어 있는지는 확인된 자료에 없습니다. 사용하기 전에 platform.kimi.ai의 문서를 반드시 확인해 주십시오.
모델 카드에는 멀티턴(multi-turn) 및 툴 이용 시, reasoning_content와 tool_calls를 포함한 assistant 메시지 전체를 다음 요청으로 전달해야 한다고 명시되어 있습니다※1. content만 히스토리에 누적하는 구현은 흔히 사용되는 패턴이지만, 이 지침에는 위배됩니다.
다음 코드는 툴 호출 루프에서 assistant 메시지 전체를 히스토리로 누적하는 예시입니다.
# Python 3.11 / 표준 라이브러리만 사용. 클라이언트는 OpenAI와 호환되는 것을 전달해야 함
import json
from types import SimpleNamespace as NS
...
실제 API 호출은 불가능하여, 네트워크 연결 없이 작동하는 가상 클라이언트(pseudo client)를 만들어 2차 요청에 reasoning_content가 포함되는지 확인했습니다.
- 환경: Python 3.11.2, 실시일 2026-11-06
- 결과:
서울은 18도입니다
이 반환되었고, OK: 2차 요청에 reasoning_content가 포함됨이라고 표시되었습니다.
이는 히스토리 구성 로직을 확인한 것이며, Kimi 서버의 실제 동작 여부를 확인한 것은 아닙니다. 실제 API에서 reasoning_content를 누락했을 때 어떤 일이 발생하는지는 미검증입니다.
| 모델 | 입력 | 출력 | 캐시 입력 |
|---|---|
| kimi-k3.1-pro | $2.00 | $10.00 | $0.20 |
| kimi-k3.1-pro-highspeed | $4.00 | $20.00 | $0.20 |
highspeed 버전은 가격이 2배이며, 속도는 Moonshot 측 주장으로 약 2~3배 빠르다고 합니다※2. Artificial Analysis의 측정에서는 일반 버전의 출력 속도가 52.2 토큰/초로, Opus 5.5의 96.8보다 느하다고 기재되어 있습니다※2.
대화 UI처럼 대기 시간이 중요한 용도에는 highspeed를, 야간 배치 작업이라면 일반 버전을 사용하는 것이 합리적입니다. highspeed의 속도는 Moonshot 측 주장값이며, 필자는 직접 측정하지 않았습니다.
캐시 입력은 $0.20으로, 일반 입력의 1/10 수준입니다. 캐시 쓰기는 5분 TTL(Time To Live) 기준으로 $2.00, 1시간 TTL 기준으로 $4.00입니다※2. 긴 시스템 프롬프트를 반복적으로 사용하는 구성이라면 캐시가 효과를 발휘합니다.
모델 카드에 명시된 구동 방법은 세 가지입니다※1.
# vLLM (포트 8000에서 OpenAI 호환)
pip install vllm
vllm serve "moonshotai/Kimi-K3.1-Pro"
...
여기서 주목할 점은 세 가지입니다.
- 총 파라미터가 2.8T이며, MXFP4 가중치(weights)를 사용하더라도 여러 GPU 환경이 전제됩니다(*2). 필요한 GPU 대수는 확인된 자료에 명시되어 있지 않습니다.
- Transformers의 샘플 코드는
trust_remote_code=True를 요구합니다. 외부 코드를 실행하게 되므로, 버전을 고정하고 내용을 읽은 후에 사용해야 합니다. - 샘플에서는 AutoModelForSeq2SeqLM을 사용하고 있지만, 이미지와 텍스트를 다루는 생성 모델에는 적합하지 않을 수 있습니다. 그대로 복사하여 사용하지 마십시오.
만약 자체적으로 가중치를 호스팅할 필요가 없다면, 우선 API를 사용하는 것이 현실적입니다.
가중치는 표준적인 OSS 라이선스가 아닌 독자적인 “Kimi K3.1 Pro License”로 배포됩니다(*1). 이전 세대인 K3 역시 독자 라이선스였습니다(*2). 상업적 이용이나 재배포 조건은 LICENSE 파일에서 확인이 필요하며, 여기서는 그 내용을 확인하지 않았습니다.
또 한 가지, 공개 모델은 사이버 관련 데이터를 제외한 조정(adjustment)을 거쳤습니다(*2). Moonshot의 사내 벤치인 xdev-bench-hard (pass@3)는 제거 전 90.5%, 공개 모델이 81.0%, K3가 33.3%입니다. 취약성 조사나 보안 용도의 평가에서는 공격적인 능력이 의도적으로 억제되어 있다는 전제하에, 자체 테스트를 구성해야 합니다.
reasoning_effort의 기본값(default)이 max여서 비용이 예상보다 크게 늘어날 수 있습니다. - content만 히스토리에 쌓으면 모델 카드 지침에서 벗어나게 됩니다. - 벤치마크는 자체 측정 위주입니다. Terminal-Bench-Science는 Kimi가 38.1로, Opus 5.5의 63.3보다 현저히 낮은 수치였습니다(*2). 과학 관련 태스크는 먼저 소규모로 시도해 보는 것이 좋습니다.
- 가중치의 공개일이 모델 카드에 기재되어 있지 않습니다. API의 공개일은 2026-10-23으로 기재되어 있습니다(*2).
사용을 시작한다면, 다음 순서가 권장됩니다.
- API를 통해
low와 high를 자신의 태스크에서 비교해 보세요. - 히스토리에 reasoning_content를 반환하도록 구현하세요. - 비용과 속도가 적절하다면, 일반 버전(standard)과 highspeed 버전을 선택합니다.
- 가중치를 자체적으로 호스팅해야 할 필요가 있을 때만 셀프호스트(self-host)를 고려하십시오.
필자는 API와 셀프호스트 모두 실행해 본 경험이 없으므로 품질 평가는 하지 않았습니다. 모든 수치는 공개된 정보를 정리한 것입니다.
- 추론 강도는
reasoning_effort로 선택하고, 기본값이 max라는 점에 주의하십시오. - 멀티턴(multi-turn)에서는 reasoning_content와 tool_calls를 포함하는 assistant 메시지를 반환해야 합니다. - 가격은 입력 $2, 출력 $10이며, highspeed는 2배입니다.
- 셀프호스트는 가능하지만, 대규모 GPU가 전제됩니다.
- 라이선스는 독자적이며, 공개 모델은 사이버 관련 부분이 약하게 조정되어 있습니다.
※ 본 기사에 기재된 내용은 필자 개인의 견해이며, 소속 회사나 조직의 입장이나 방침과는 전혀 관계 없습니다.
【Tomcat-zhou】|AI/AX/AI 보안 전문가
AI 전략 통찰력, AI 구동 개발 방법론 설계 및 현장에서 작동하는 시스템 구축을 하고 있습니다.
note에서 전략적 통찰 / Zenn・Qiita에서 기술 및 방법론을 작성하고 있습니다.
AI 보안・AI 컨설팅・AI 에이전트 개발・AI 활용・AI 구동 개발 교육, AI 인재 육성 서비스를 통합적으로 제공합니다.
X: @ZY20240528
LinkedIn: Tomcat-zhou
Facebook: zhou yi
note: Tomcat-zhou
zenn: Tomcat-zhou
- moonshotai/Kimi-K3.1-Pro (Hugging Face 모델 카드)
- Kimi K3.1 Pro: Specs, $2/$10 Pricing, Benchmarks and the Open-Weights Question (codersera)
AI, LLM, Kimi, MoE, Python, API, 오픈웨이트