Kimi K3 오픈 웨이트(Open-Weight) 공개: 2.8T 프런티어 모델의 상세 분석
요약
Moonshot AI가 2.8조 개의 파라미터를 보유한 대규모 오픈 웨이트 모델 Kimi K3를 공개했습니다. Kimi K3는 Kimi Delta Attention 아키텍처를 통해 효율적인 긴 컨텍스트 처리를 지원하며, 주요 벤치마크에서 프런티어 모델들과 대등한 성능을 보여줍니다.
핵심 포인트
- 2.8T 파라미터 규모의 역대 최대 오픈 웨이트 모델
- Kimi Delta Attention(KDA)을 통한 연산 효율성 및 긴 컨텍스트 확보
- GPQA, FrontierMath 등 주요 벤치마크에서 프런티어 모델 수준 달성
- 네이티브 멀티모달 및 100만 토큰 컨텍스트 윈도우 지원
오픈 웨이트 (Open-weight) AI 경쟁에 새로운 리더가 등장했습니다.
2026년 7월 27일, Moonshot AI는 HuggingFace에 Kimi K3의 전체 가중치(weights)를 공개했습니다. 2.8조 개의 파라미터(parameters)를 보유한 이 모델은 지금까지 출시된 오픈 웨이트 모델 중 가장 규모가 큽니다. 100만 토큰의 컨텍스트 윈도우 (context window), 네이티브 비전 (native vision) 지원, 그리고 Kimi Delta Attention이라 불리는 새로운 아키텍처를 갖추고 있습니다.
이 모델이 무엇인지, 성능은 어떠한지, 그리고 개발자들에게 어떤 의미를 갖는지에 대한 상세한 분석을 소개합니다.
Kimi K3란 무엇인가?
Kimi K3는 베이징에 본사를 둔 중국 AI 연구소인 Moonshot AI가 구축한 오픈 웨이트 네이티브 멀티모달 (multimodal) 모델입니다. 그들은 이 모델을
- GPQA Diamond: Kimi K3는 93.5점을 기록했으며, 이는 Claude Fable 5의 92.6점 및 GPT-5.6 Sol의 94.1점과 비교됩니다. 이는 본질적으로 프런티어 (frontier) 모델들과 대등한 수준입니다.
- HLE-Full (pass@1 / pass@5): Kimi K3는 43.5 / 56.0을 기록했습니다. Claude Fable 5가 53.3 / 63.0으로 앞서 있으며, GPT-5.6 Sol은 44.5 / 58.0을 기록했습니다.
코딩 (Coding):
- DeepSWE: Kimi K3는 63.8점을 기록하여 Claude Fable 5 (75.4)에는 뒤처지지만, GPT-5.6 Sol (60.2)보다는 앞서며 GPT-5.5 (52.5)보다는 훨씬 앞섭니다.
- FrontierMath: Kimi K3는 31.2점을 기록하여 GPT-5.6 Sol (32.5)과 경쟁할 만한 수준이며, Claude Opus 4.8 (25.0)보다는 훨씬 앞섭니다.
프런트엔드 및 에이전트 작업 (Frontend and Agentic Tasks):
- Arena Frontend Code: Kimi K3가 1위를 차지하며 Claude Fable 5를 능가했습니다.
- 시각적 질의응답 (Visual QA, WorldVQA): Kimi K3는 86.9점을 기록하여 GPT-5.6 Sol (87.2)과 경쟁할 만한 수준입니다.
핵심 요점: Kimi K3가 모든 벤치마크에서 Claude Fable 5나 GPT-5.6 Sol 수준에 완전히 도달한 것은 아니지만, 지속적으로 동일한 논의의 범주 내에 머물고 있습니다. 누구나 다운로드할 수 있는 오픈 웨이트 (open-weight) 모델로서 이는 전례 없는 일입니다.
아키텍처 혁신 (The Architecture Innovations)
Kimi Delta Attention (KDA)
가장 큰 기술적 화두는 Kimi Delta Attention입니다. 전통적인 어텐션 (attention) 메커니즘은 모든 토큰 쌍 사이의 어텐션 점수를 계산하며, 이는 연산과 메모리 모두에서 $O(n^2)$ ($n$-제곱)의 비용이 발생합니다. KDA는 델타 (delta) 기반 계산 방식을 도입하여 훨씬 낮은 비용으로 동일한 효과를 달성합니다.
쉽게 설명하자면: 이전의 어텐션 레이어들이 현재 토큰 표현 사이의 "델타"를 학습하고 그 델타를 효율적으로 저장합니다. 이를 통해 모델은 GPT-4와 같은 모델들을 제한하는 이차 함수적 폭발 (quadratic blowup) 없이 훨씬 더 긴 컨텍스트 (context)로 확장할 수 있습니다.
어텐션 잔차 (Attention Residuals, AttnRes)
Attention Residuals는 어텐션 계산 주변에 특화된 잔차 연결 (residual connection)을 추가하여, 기울기 소실 문제 (vanishing gradient problems, 매우 깊은 네트워크에서 기울기가 너무 작아져 초기 레이어를 업데이트하지 못하는 현상) 없이 어텐션 레이어를 더 깊게 쌓을 수 있도록 (총 93개 레이어) 합니다. 이는 ResNet이 심층 비전 모델을 혁신한 방식과 정신적으로 유사하지만, 트랜스포머 (transformer) 어텐션에 적용된 것입니다.
이러한 혁신들을 통해 Kimi K3는 추론 비용 (inference costs)을 관리 가능한 수준으로 유지하면서도 100만 토큰의 컨텍스트 (context)를 유지할 수 있습니다.
라이선스: 공개되어 있으나 모두에게 자유롭지는 않음
Kimi K3 라이선스는 폭넓게 허용되지만 두 가지 중요한 제한 사항이 있는 커스텀 오픈 웨이트 (open-weight) 라이선스입니다:
-
서비스형 모델 (Model-as-a-Service) 조항: 만약 모델 서빙 비즈니스를 운영하며 총 매출이 어느 12개월 기간 동안 2,000만 달러를 초과하는 경우, Moonshot AI와 별도의 상업적 계약을 체결해야 합니다.
-
대규모 배포에 대한 출처 표기: Kimi K3를 사용하는 귀하의 제품 또는 서비스가 월간 활성 사용자 수 (MAU) 1억 명을 초과하거나 월 매출 2,000만 달러 이상을 창출하는 경우, UI에 "Kimi K3"를 눈에 띄게 표시해야 합니다.
개인 개발자, 스타트업, 그리고 대부분의 기업에게 이러한 제한 사항은 적용되지 않습니다. 내부 사용 (Internal use)은 완전히 제한이 없습니다. 라이선스는 두 가지 요구 사항 모두에서 내부 사용을 명시적으로 제외하고 있습니다.
이는 Apache 2.0보다 더 제한적이지만, 독점 라이선스 (proprietary licenses)나 Llama 라이선스 제품군보다는 훨씬 더 개방적입니다. 그 중간 어디쯤에 위치합니다.
가격 및 가용성
Kimi K3는 다음과 같은 다양한 채널을 통해 이용할 수 있습니다:
- 직접 API (Direct API): Moonshot AI 자체 API를 통해 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러에 제공
- OpenRouter: Moonshot 계정 없이 종량제 (pay-as-you-go) 방식으로 접속 가능
- HuggingFace: Kimi K3 라이선스 하에 전체 모델 웨이트 (model weights) 제공
- ModelScope: 아시아 사용자들을 위한 대체 다운로드 미러
- 제3자 제공업체 (Third-party providers): Fireworks AI, Together 등이 추론 (inference) 서비스를 호스팅할 것으로 예상됨
가격 책정은 Claude Sonnet 수준에 맞춰져 있습니다. 이는 Artificial Analysis 인덱스 기준 Claude Opus 4.8 (태스크당 1.80달러)보다는 상당히 비싸지만, 대부분의 오픈 웨이트 제공업체보다는 저렴합니다.
Artificial Analysis에 따르면, Kimi K3는 장기 지식 작업(long-horizon knowledge work) 평가에서 태스크당 약 0.94달러의 비용이 발생하며, 이는 GPT-5.6 Sol의 1.04달러와 유사하고 Opus 4.8의 1.80달러와 비교하면 거의 절반 수준입니다. 또한 동일한 평가에서 Kimi K2.6보다 출력 토큰(output tokens)을 21% 적게 사용합니다.
개발자들에게 갖는 의미
워크플로우에 AI를 사용하는 개발자들에게 그 의미는 명확합니다. 오픈 웨이트(open-weight) 모델이 폐쇄형(proprietary) 프런티어 모델과의 격차를 좁혔다는 것입니다. 불과 1년 전만 해도 최고의 오픈 모델은 GPT-4에 비해 확실히 뒤처져 있었습니다. 오늘날 Kimi K3는 GPT-5.5와 경쟁할 수 있는 수준이며, 여러 벤치마크에서 GPT-5.6 Sol에 맞설 만한 성능을 보여줍니다.
이것이 중요한 이유는 오픈 웨이트 모델이 자유를 제공하기 때문입니다. 특정 업체에 종속(vendor lock-in)되지 않습니다. 갑작스러운 API 중단(deprecation)도 없습니다. 제공업체를 전환할 수 있고, 궁극적으로는 자체 호스팅(self-host)이 가능하며, 모델을 직접 미세 조정(fine-tune)할 수 있습니다. 제품에 AI 기능을 구축하는 팀들에게 이는 매우 중대한 변화입니다.
중국의 AI 생태계는 이제 DeepSeek, Kimi (Moonshot AI), Qwen (Alibaba)이라는 세 가지 뚜렷한 경쟁자를 배출하고 있습니다. 각 모델은 서로 다른 강점을 가지고 있습니다. Llama로 시작된 "오픈 웨이트 AI 전쟁" 서사는 이제 여러 권력 중심지가 존재하는 글로벌 경쟁으로 진화했습니다.
결론
Kimi K3는 오픈 웨이트 모델의 새로운 제왕입니다. 실행 비용이 가장 저렴한 것은 아니며, 모든 지표에서 Claude Fable 5를 압도하는 것도 아닙니다. 하지만 누구나 다운로드하고, 검사하고, 미세 조정할 수 있는 오픈 모델로서 최고의 폐쇄형 모델들과 경쟁한다는 점은 놀라운 일입니다.
가중치(weights)는 현재 HuggingFace에서 이용 가능합니다. 기술 보고서(PDF)는 GitHub에 있으며, API는 Kimi.com에서 활성화되어 있습니다.
오픈 프런티어(open frontier)의 시대가 도래했습니다.
모든 링크는 2026년 7월 27일 기준으로 접속 가능함을 확인했습니다.
출처:
출처:
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기