Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Kimi가 2.8조 개의 파라미터를 가진 프론티어 모델 'Kimi K3'를 오픈소스로 공개했습니다. 이 모델은 MoE 구조와 1M 토큰 컨텍스트 윈도우를 지원하며, 모델 가중치뿐만 아니라 관련 인프라 스택까지 모두 공개했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X @thewhizzai (자동 발견)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기정말 말도 안 되는 일이 벌어졌습니다.
Kimi가 지구상의 가장 큰 연구소들과 경쟁할 수 있는 프론티어 모델 (Frontier Model)을 방금 오픈소스 (Open-source)로 공개했습니다. 데모도 아니고, 논문도 아닙니다. 실제 가중치 (Weights)를 누구나 무료로 다운로드할 수 있습니다.
이 모델의 이름은 Kimi K3이며, 그 수치는 상상을 초월합니다.
2.8조 개의 파라미터 (Parameters). 네이티브 시각적 이해 (Native visual understanding) 기능과 1M 토큰 컨텍스트 윈도우 (Context window)를 갖춘 MoE (Mixture of Experts) 모델입니다. 이는 책 한 시리즈 전체를 한 번에 메모리에 담을 수 있는 수준입니다.
정말 놀라운 점은 이것입니다: 그들은 단순히 더 많은 파라미터를 쏟아부은 것이 아니라, 연산 단위당 지능이 2.5배 더 높다고 주장합니다. 더 커진 것이 아니라, 더 똑똑해진 것입니다.
그리고 그들은 모델에서 멈추지 않았습니다. 고성능 어텐션 커널 (Attention kernels), MoE 통신 라이브러리 (Communication library), 그리고 에이전트 환경 (Agent environments)을 대규모로 실행하기 위한 인프라까지, 모델 뒤에 있는 스택 (Stack) 전체를 공개했습니다.
프론티어 연구소 (Frontier Labs)들이 황금처럼 지키는 것을, Kimi는 방금 모두에게 무료로 나누어 주었습니다.
오픈소스 경쟁이 폐쇄형 연구소들을 따라잡았습니다. 아주 빠르게 말이죠.
[IMG:1]