세상에! @kimi_moonshot Moonshot AI(月之暗面)가 이번에 정말 미쳤습니다!

2.8T 파라미터(Parameter)를 가진 K3를 단순히 전체 가중치(Full Weights) 오픈소스로 공개한 것을 넘어, 추론 커널(Inference Kernel), MoE 통신 라이브러리(Communication Library), Agent 훈련 환경(Agent Training Environment) 등 전체 저층 기술 스택(Bottom-layer Tech Stack)을 통째로 내놓았습니다. 오픈소스 모델의 천장을 폐쇄형(Closed-source) 플래그십 모델의 문턱까지 강제로 끌어올렸습니다.

단순히 가중치만 풀어서 오픈소스 개념을 홍보하는 '치약 짜기(찔끔찔끔 내놓는 방식)' 식의 운영이 아닙니다. 모델부터 저층에서 구동되는 생태계의 모든 것을 통째로 무료로 제공하는 것입니다. 1M(100만) 길이의 긴 컨텍스트(Long Context), 폐쇄형 모델과 경쟁할 수 있는 강력한 MoE 아키텍처를 갖추었습니다.

그동안 오픈소스가 폐쇄형을 따라잡지 못한다고 매일 외치던 사람들은 완전히 반박당했습니다. 개발자들은 이제 더 이상 폐쇄형 API의 속도 제한(Rate Limiting)이나 가격 인상 때문에 굴욕을 당할 필요가 없습니다.

대규모 언어 모델(LLM)을 만드는 사람들은 저층 통신 프레임워크를 처음부터 구축할 필요가 없고,
Agent를 만드는 사람들은 폐쇄형 인터페이스의 제약에 목이 졸릴 필요가 없으며,
소규모 팀도 전체 스택을 기반으로 직접 2차 개발을 할 수 있습니다.
오늘부터 전 세계 오픈소스 AI의 게임의 규칙이 정말로 바뀌었습니다.

오늘 이후로 오픈소스와 폐쇄형 사이의 세대 차이는 2년에서 6개월로 단축되었습니다.
Kimi K3는 오늘 정식으로 전체 오픈소스로 공개되었으며, 이는 단순한 버전 업데이트가 아닙니다.

총 파라미터 2.8T MoE, 활성화(Activation) 104B, 네이티브 100만 컨텍스트(Context).

KDA의 새로운 주의력(Attention) 메커니즘과 AttnRes 아키텍처 혁신을 통해, 단위 연산력당 지능 밀도(Intelligence Density)를 직접 2.5배 높였고, 긴 컨텍스트 디코딩(Decoding) 속도를 6배 높였습니다.
가장 무서운 점은, 이것이 단순히 가중치만 공개하는 가짜 오픈소스가 아니라는 점입니다.

FlashKDA 고성능 커널, MoE 통신 라이브러리, 심지어 Agent 강화학습(RL)에 사용되는 스냅샷 방식의 훈련 환경인 AgentENV까지 모두 오픈소스로 공개했습니다.

추론부터 훈련까지의 전체 저층 스택을 그대로 옮겨왔습니다.
이전의 모든 오픈소스 모델은 본질적으로 폐쇄형 모델의 1년 전 뒤를 쫓고 있었을 뿐입니다.

이것은 폐쇄형 최정상급의 문턱에 진정으로 도달한 첫 번째 개방형 모델입니다.

긴 코드 작성(Long Coding), Agent, 터미널 조작과 같은 하드코어한 작업들은 이미 1티어 폐쇄형 모델들과 겨룰 수 있는 수준입니다.

여러분은 언제나 개방의 힘을 믿어도 좋습니다!!
K3를 이용해 직접 오픈소스 소개 영상을 만들었습니다. 경의를 표합니다 🫡