우리는 1,040억 개의 활성화 파라미터(activated parameters)를 가진 2.8T 파라미터 규모의 Mixture-of-Experts (MoE) 모델이자, 네이티브 비전(native vision) 기능과 100만 토큰의 컨텍스트 윈도우(context window)를 갖춘 Kimi K3를 소개합니다. Kimi K3는 시퀀스 길이와 모델 깊이에 따른 정보 흐름을 개선하는 Kimi Delta Attention (KDA) 및 Attention Residuals를 기반으로 구축되었습니다. 토큰당 896개의 라우팅된 전문가(routed experts) 중 16개를 효과적으로 활성화하는 Stable LatentMoE, 그리고 정교화된 학습 및 데이터 레시피(data recipes)와 결합하여, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율성(scaling efficiency)을 약 2.5배 향상시켰습니다. 사후 학습(Post-training)의 주요 특징으로는 일반(general), 에이전트(agentic), 코딩(coding) 도메인 및 다양한 추론 노력(reasoning-effort) 수준에 걸친 강화학습 (RL)이 있으며, 이를 통해 구성적 일반화(compositional generalization)와 견고한 장기 실행(long-horizon execution)을 가능하게 합니다. 2.8T 규모에서 Kimi K3는 여러 분야의 인프라 발전에 의해 지원됩니다: KDA를 위한 알고리즘-시스템 공동 설계(algorithm-system co-design), 효율적인 메모리 관리를 통한 완벽하게 균형 잡힌 전문가 병렬(expert-parallel) 학습, 지속적인 롤아웃(rollout) 및 샌드박스 상태를 포함한 백만 토큰 규모의 에이전트 강화학습 (agentic RL), 그리고 배포 혁신입니다. 광범위한 평가 결과, Kimi K3는 장기 코딩, 에이전트, 지식, 추론 및 비전 작업 전반에 걸쳐 프론티어 수준의 성능을 달성함을 보여줍니다. 전체적인 성능은 여전히 가장 강력한 폐쇄형 모델인 Claude Fable 5 및 GPT-5.6 Sol에는 뒤처지지만, Kimi K3는 당사의 평가 세트에서 평가된 다른 오픈 및 폐쇄형 모델들을 지속적으로 능가합니다. 우리는 향후 연구를 촉진하고 프론티어 인텔리전스의 광범한 배포와 채택을 가속화하기 위해 Kimi K3 모델의 전체 가중치(weights)를 공개합니다.