Kimi K3 API: GPT-5 대비 1/3 비용으로 제공되는 2.8T 파라미터

Moonshot AI의 Kimi K3가 2026년 7월에 출시되었으며, 올해 저에게 비용별 작업 벤치마크를 다시 실행하게 만든 첫 번째 모델입니다. GPT-5.6 Sol 대비 출력 토큰당 약 1/3 가격으로 책정된 2.8T 파라미터의 Mixture-of-Experts (MoE) 모델이며 1M 토큰 컨텍스트 창을 갖추고 있습니다. 자세한 내용은 다음과 같습니다.

K3가 실제로 무엇인지

K3는 희소(sparse) MoE 모델입니다. 총 파라미터는 2.8T이지만, 토큰당 활성화되는 부분은 일부에 불과합니다. 이러한 아키텍처 덕분에 가격 책정이 공격적입니다. 전체 가중치 행렬이 아닌, 실제로 사용된 컴퓨팅량에 대해서만 비용을 지불하기 때문입니다. 1M 컨텍스트 창은 실제이며(마케팅상의 '최대'가 아닙니다), 대규모 리포지토리 덤프를 대상으로 테스트했을 때 500K 토큰을 훨씬 넘어서도 일관성을 잘 유지합니다.

벤치마크

• TextArena: 글로벌 #9 — 일반 추론 및 지침 따르기(instruction following) 부문에서 상위 10위권 기록
• 프런트엔드 코딩: #1 — UI 생성 및 컴포넌트 작업에서 모든 최첨단 모델을 능가함
• GDPval-AA: #3 — 에이전트 평가(agentic evaluation)에서 강력한 성능

저에게 가장 주목할 만한 것은 프런트엔드 코딩 #1 기록입니다. 코드 생성 도구(codegen tools)를 구축하고 있다면, 이는 직접적인 신호가 됩니다.

가격 비교

출력 토큰, 즉 비용이 가장 많이 발생하는 부분에서 K3는 GPT-5.6 Sol보다 약 2배 저렴하고 Claude Fable 5보다 약 3.3배 저렴합니다. 매월 50M의 출력 토큰을 생성하는 워크로드를 가정할 경우, 이는 약 $107과 $350의 차이입니다.

캐시 히트 가격이 진짜 이야기다

캐시 히트 시 $0.05/M. 이는 캐싱된 입력에 대해 88% 할인율을 의미합니다.

코딩 에이전트에게는 이 비용 구조가 경제성을 완전히 바꿉니다. 일반적인 에이전트 루프는 매 턴마다 동일한 시스템 프롬프트, 파일 트리, 컨텍스트를 재전송합니다. 캐싱을 사용하면 이러한 반복되는 입력 비용이 $0.43에서 백만 토큰당 $0.05로 떨어집니다. 긴 에이전트 세션에서는 캐시 히트가 전체 입력량의 7090%를 차지할 수 있으므로, 실질적인 입력 비용은 $0.08$0.12/M 수준으로 급감합니다.

이것이야말로 Kimi K3가 상시 작동하는 코딩 어시스턴트(always-on coding assistants)에 실행 가능하게 만드는 숫자입니다.

자체 호스팅은 현실적이지 않다

⚠️ [IMG:N] 형식 토큰은 이미지 placeholder 입니다. 번역하지 말고 원래 위치에 그대로 유지하세요.

자체 호스팅은 현실적이지 않다

질문하기 전에 말씀드리자면, 아닙니다. 2.8T 파라미터를 사용하려면 사용 가능한 배포를 위해 최소 8×H100이 필요하며, 1M 컨텍스트의 KV 캐시를 고려하면 실제로는 더 많이 필요합니다. 이는 전력, 냉각 및 운영 비용을 지불하기 전에 $150K 이상의 하드웨어 비용입니다. 추론(inference)을 비즈니스로 운영하는 경우가 아니라면, API 방식이 훨씬 저렴합니다.

K3 접근 방법: Yingsuan AI Gateway

실용적인 경로는 통합 게이트웨이를 이용하는 것입니다. Yingsuan AI는 K3, DeepSeek, GLM에 대해 하나의 API 키를 제공하며, 시작할 때 신용카드가 필요 없고 미국 카드가 없는 글로벌 개발자에게는 Wise 결제를 통해 충전할 수 있습니다.

하나의 키로 여러 프론티어 모델을 사용하고, 공급업체 종속성(vendor lock-in)이 없습니다. K3 (프론트엔드/코드 생성)와 DeepSeek 또는 GLM (추론/비용 민감 배치 작업) 사이에서 라우팅하는 팀에게는 이 과정의 통합 오버헤드를 크게 줄여줍니다.

Python 예시 (OpenAI SDK)

K3는 OpenAI와 호환되므로, 두 줄만 변경하면 됩니다:

from openai import OpenAI

client = OpenAI(
...

`model=