Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
2.8T 파라미터 규모의 MoE 모델인 Kimi K3를 소개합니다. KDA 기술과 Stable LatentMoE를 통해 스케일링 효율을 2.5배 높였으며, 비전 기능과 100만 토큰 컨텍스트를 지원합니다. 모델의 전체 가중치를 공개하여 연구 및 배포를 가속화하고자 합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기우리는 1,040억 개의 활성화 파라미터(activated parameters)를 가진 2.8T 파라미터 규모의 Mixture-of-Experts (MoE) 모델이자, 네이티브 비전(native vision) 기능과 100만 토큰의 컨텍스트 윈도우(context window)를 갖춘 Kimi K3를 소개합니다. Kimi K3는 시퀀스 길이와 모델 깊이에 따른 정보 흐름을 개선하는 Kimi Delta Attention (KDA) 및 Attention Residuals를 기반으로 구축되었습니다. 토큰당 896개의 라우팅된 전문가(routed experts) 중 16개를 효과적으로 활성화하는 Stable LatentMoE, 그리고 정교화된 학습 및 데이터 레시피(data recipes)와 결합하여, 이러한 발전은 Kimi K2 대비 전체 스케일링 효율성(scaling efficiency)을 약 2.5배 향상시켰습니다. 사후 학습(Post-training)의 주요 특징으로는 일반(general), 에이전트(agentic), 코딩(coding) 도메인 및 다양한 추론 노력(reasoning-effort) 수준에 걸친 강화학습 (RL)이 있으며, 이를 통해 구성적 일반화(compositional generalization)와 견고한 장기 실행(long-horizon execution)을 가능하게 합니다. 2.8T 규모에서 Kimi K3는 여러 분야의 인프라 발전에 의해 지원됩니다: KDA를 위한 알고리즘-시스템 공동 설계(algorithm-system co-design), 효율적인 메모리 관리를 통한 완벽하게 균형 잡힌 전문가 병렬(expert-parallel) 학습, 지속적인 롤아웃(rollout) 및 샌드박스 상태를 포함한 백만 토큰 규모의 에이전트 강화학습 (agentic RL), 그리고 배포 혁신입니다. 광범위한 평가 결과, Kimi K3는 장기 코딩, 에이전트, 지식, 추론 및 비전 작업 전반에 걸쳐 프론티어 수준의 성능을 달성함을 보여줍니다. 전체적인 성능은 여전히 가장 강력한 폐쇄형 모델인 Claude Fable 5 및 GPT-5.6 Sol에는 뒤처지지만, Kimi K3는 당사의 평가 세트에서 평가된 다른 오픈 및 폐쇄형 모델들을 지속적으로 능가합니다. 우리는 향후 연구를 촉진하고 프론티어 인텔리전스의 광범한 배포와 채택을 가속화하기 위해 Kimi K3 모델의 전체 가중치(weights)를 공개합니다.