요약 (TL;DR): Moonshot AI는 7월 16일, 2.8조 개의 파라미터(parameter)를 가진 100만 토큰 컨텍스트 윈도우(context window) 규모의 오픈 웨이트(open-weight) 모델인 Kimi K3를 출시했습니다. 이 포스트는 이 수치들이 실제로 무엇을 의미하는지 설명하고, 아키텍처(MoE, Kimi Delta Attention)를 한 단계 더 깊이 파고들며, 저의 견해로 마무리합니다. 즉, 매우 저렴한 중국산 모델의 시대가 끝나가고 있으며, 이제 '오픈(open)'이란 검사는 할 수 있지만 아마도 직접 실행할 수는 없는 것을 의미하게 될 수도 있다는 것입니다.

저는 아직 K3를 직접 사용해 보지는 않았습니다. 이 글은 여러분이 오후 내내 시간을 쓰는 대신 10분 만에 상황을 파악할 수 있도록, 제가 출시 자료와 독립적인 보도 내용들을 주의 깊게 읽고 정리한 것입니다.

방금 무슨 일이 일어났는가

"역대 최대 규모의 오픈 소스(open-source) 모델"에 관한 Google 뉴스 알림이 저를 끌어들였습니다. 그 주장은 제대로 확인해 볼 가치가 있을 만큼 거창하게 들렸습니다.

Kimi 모델의 배후에 있는 베이징 스타트업 Moonshot AI가 Kimi K3를 출시했습니다. 그들의 출시 포스트에 담긴 주요 내용은 다음과 같습니다:

• 총 2.8조 개의 파라미터(parameter), 그들은 이를 3T 클래스의 첫 번째 오픈 모델이라고 부릅니다.
• 100만 토큰 컨텍스트 윈도우(context window)
• 네이티브 멀티모달리티(Native multimodality): 별도로 부착된 비전 인코더(vision encoder)를 통하는 것이 아니라, 동일한 모델 내에서 이미지와 비디오를 처리합니다.
• 벤치마크(Benchmarks) 결과, Moonshot 스스로 인정하듯 Claude Fable 5와 GPT 5.6 Sol에는 여전히 뒤처지지만, Claude Opus 4.8 및 GLM-5.2를 포함하여 그들이 테스트한 다른 모든 모델은 능가합니다.

가중치(weights)는 아직 공개되지 않았습니다. 7월 27일까지 공개될 예정입니다. 그때까지는 Moonshot 외부의 누구도 모델을 독립적으로 검증하거나 실행할 수 없습니다. 아래의 모든 내용에 대해 이 점을 유념하십시오. 이 수치들은 판매자가 발표한 출시 당일의 수치이며, Artificial Analysis의 초기 독립 테스트를 통해 부분적으로 확인된 것입니다.

수치의 의미 해석

2.8조 개의 파라미터(parameters)가 한 번에 2.8조 개를 의미하는 것은 아닙니다. K3는 전문가 혼합 (Mixture of Experts, MoE) 모델입니다. 이를 라우터 (router) 뒤에 앉아 있는 896개의 전문 서브 네트워크 ("experts")라고 생각하면 됩니다. 각 토큰(token)에 대해, 라우터는 실제 작업을 수행할 896개 중 16개를 선택합니다. 즉, 모델은 디스크에 거대한 지식 라이브러리를 보유하고 있지만, 토큰당 그중 아주 작은 부분만이 활성화됩니다. 이것이 2.8T 모델을 서비스 비용을 감당할 수 있는 수준으로 만드는 방법입니다. 이는 오늘날 대부분의 대규모 오픈 모델(open models) 뒤에 숨겨진 동일한 광범위한 기법이며, K3는 단지 희소성 (sparsity)을 평소보다 더 밀어붙였을 뿐입니다.

**100만 토큰 컨텍스트 윈도우 (context window)**는 대략 70만 단어 이상의 입력을 의미합니다. 이는 하나의 프롬프트(prompt)에 전체 대규모 코드베이스나 여러 권의 책을 담는 것과 같습니다. 긴 컨텍스트의 문제는 항상 "이를 수용할 수 있는가"가 아니라, "모델이 답변할 때 실제로 90만 번째 토큰을 사용할 수 있는가"였으며, K3의 어텐션 (attention) 변경 사항이 바로 그 지점을 겨냥하고 있습니다 (다음 섹션).

여기서 "오픈(Open)"은 나중에 언급될 오픈 웨이트 (open weights)를 의미합니다. 여러분은 모델을 다운로드하여 직접 실행할 수 있을 것입니다. 하지만 이 정도 규모에서 "직접" 실행한다는 것은 본격적인 GPU 클러스터 (cluster)를 의미합니다. Moonshot은 64개 이상의 가속기 (accelerators)를 갖춘 노드에 배포할 것을 권장합니다. 따라서 연구자와 기업이 이를 검사, 미세 조정 (fine-tune) 및 자체 호스팅 (self-host)할 수 있다는 의미에서는 오픈입니다. 하지만 당신이나 내가 우리가 소유한 어떤 장치에서든 실행할 수 있다는 의미에서의 오픈은 아닙니다.

한 단계 더 깊이: 아키텍처에서 실제로 새로운 점은 무엇인가

두 가지 명명된 구성 요소가 이번 출시를 이끌고 있으며, 두 가지 모두 정보가 모델을 통해 어떻게 흐르는지에 관한 것입니다.

Kimi Delta Attention (KDA). 표준 어텐션 (standard attention)은 모든 토큰이 다른 모든 토큰을 참조할 수 있기 때문에 컨텍스트가 커질수록 비용이 많이 듭니다. KDA는 매우 긴 시퀀스 (sequences)에 대해 어텐션을 효율적으로 확장하기 위한 Moonshot의 해답입니다. 그들은 또한 이것이 기존의 프리픽스 캐싱 (prefix caching)을 깨뜨린다고 언급했으며, vLLM에 수정 사항을 기여했다고 밝혔습니다. 이는 그들이 사람들이 단순히 벤치마크 (benchmark)만 하는 것이 아니라, 실제로 이 모델을 서비스하기를 기대하고 있음을 알려줍니다.

Attention Residuals (AttnRes). 심층 네트워크 (deep network)에서 초기 레이어 (early layers)의 정보는 출력에 영향을 미치기 위해 수십 또는 수백 개의 레이어를 통과하며 살아남아야 합니다. Moonshot에 따르면, AttnRes는 모델이 모든 것을 균일하게 축적하는 대신 이전 깊이의 표현 (representations)을 선택적으로 검색할 수 있게 해줍니다. 직관적으로 설명하자면, 메시지가 긴 사람들의 체인을 따라 속삭이며 전달되는 대신, 나중 레이어들이 직접 이전의 노트를 되돌아가서 다시 읽을 수 있는 것과 같습니다.

그 외에도 Quantile Balancing (취약한 하이퍼파라미터 (hyperparameter) 없이 896개의 전문가 (experts)를 균등하게 로드하는 기술) 및 MXFP4/MXFP8에서의 양자화 인식 훈련 (quantization-aware training, 출시된 가중치 (weights)가 광범위한 하드웨어에서 효율적으로 실행되도록 함)과 같은 이름의 다양한 훈련 트릭들이 적용되었습니다. Moonshot은 이 모든 것을 결합했을 때 이전 K2 세대보다 약 2.5배 더 나은 스케일링 효율성 (scaling efficiency)을 제공하며, 이는 단위 연산량 (compute)당 더 많은 능력을 의미한다고 주장합니다.

전체 기술 보고서 (technical report)가 아직 나오지 않았기 때문에, 위의 모든 주장에 대한 솔직한 상태는 "업체 설명, 그럴듯함, 미검증"입니다. 7월 27일 가중치 (weights)가 공개될 때 커뮤니티가 이를 확인할 수 있을 것입니다.

출시 게시물에서 의구심을 가져야 할 부분들

데모들은 서류상으로 정말 인상적입니다: 처음부터 구축된 Triton 스타일의 GPU 컴파일러 (compiler), 48시간의 자율 실행으로 설계된 칩, 2시간 만에 천체 물리학 결과를 재현하는 연구 파이프라인 (research pipeline) 등입니다. 하지만 출시 당일의 사례 연구 (case studies)는 항상 업체가 선별한 최상의 결과물입니다. The Decoder의 보도에 따르면, 독립적인 테스트는 벤치마크 (benchmark) 이야기를 대체로 확인해주었지만, K3의 환각 (hallucination) 비율이 이전 모델에 비해 높아졌다는 점도 지적했습니다. Moonshot 자체의 한계 섹션에서는 지침이 모호할 때 모델이 사용자를 대신해 결정을 내리는 등 "지나치게 주도적 (excessively proactive)"일 수 있음을 인정합니다. 몇 시간 동안 감독 없이 실행되도록 설계된 에이전트 (agent)에게 이는 양날의 검과 같습니다.

나의 견해: 이번 출시 속에 숨겨진 두 가지 조용한 변화

첫째, 저렴한 중국산 모델의 시대는 끝났을지도 모릅니다. K3의 비용은 입력 토큰 100만 개당 3달러, 출력 토큰 100만 개당 15달러입니다. 이는 DeepSeek 스타일의 가격 책정이 아니라, 서구권의 미드 티어 (mid-tier) 가격 책정입니다. 과거의 이야기는 중국 연구소들이 10배 더 저렴한 가격으로 경쟁한다는 것이었습니다. 하지만 K3의 이야기는 "우리는 프런티어 (frontier) 모델에 가깝다, 그에 걸맞은 비용을 지불하라"는 것입니다. 만약 이것이 사실이라면, 많은 취미 프로젝트를 가능하게 했던 가격 격차는 좁혀지고 있습니다.

둘째, "오픈 소스 AI (open source AI)"가 두 가지 서로 다른 개념으로 분리되고 있습니다. 하나는 '실행 가능한 의미에서의 오픈 (open-as-in-runnable)'으로, 괜찮은 GPU를 가진 학생이 실제로 사용할 수 있는 작은 Llama 및 Qwen 변체 모델들이 여기에 해당합니다. 다른 하나는 '검토 가능한 의미에서의 오픈 (open-as-in-inspectable)'으로, 기술적으로는 다운로드할 수 있지만 실제로는 공공 연구 산출물이나 기업용 셀프 호스팅 (self-hosting) 옵션으로만 기능하는 2.8T 규모의 괴물 모델들입니다. 둘 다 가치가 있습니다. 하지만 헤드라인에서 "역대 최대 규모의 오픈 모델"이라고 말할 때, 그 개방성은 폐쇄형 모델과 마찬가지로 거의 모든 사람이 API를 통해 경험하게 될 것이라는 점을 명확히 인지할 필요가 있습니다.

그렇다면 저의 위치는 어디일까요? 솔직히 말해서, K3와는 전혀 닿지 않는 곳에 있습니다. 로컬에서 실행하거나 실험하기에는 너무 거대하며, 현재 저는 AI API가 필요한 프로젝트를 진행하고 있지 않습니다. 이것이 바로 핵심입니다. 이 정도로 "오픈"된 모델은 저의 일상에 아무런 변화도 주지 못하며, 이 글을 읽고 있는 대부분의 개인 개발자들에게도 마찬가지일 것이라고 생각합니다.

다음에 주목해야 할 사항

• 7월 27일: 가중치 (weights)가 실제로 공개되는지, 그리고 기술 보고서(technical report)가 KDA와 AttnRes에 대해 무엇을 밝혀내는지.
• 누구나 모델을 실행할 수 있게 되었을 때, 독립적인 벤치마크 (benchmarks) 결과가 유지되는지 여부.
• 보도에 따르면 임박했다고 하는 DeepSeek의 대응.

만약 여러분이 이미 API나 Kimi Code를 통해 K3를 사용해 보셨다면, 현재 사용 중인 모델과 비교했을 때 어떤지 진심으로 듣고 싶습니다. 그것이 출시 게시물들이 우리에게 줄 수 없는 데이터 포인트입니다.

출처: Moonshot의 K3 출시 게시물, VentureBeat, The Decoder, TechCrunch.