Moonshot의 Kimi K3가 오픈 웨이트 (open-weight) 모델로서 프론티어 (frontier) 수준에 도달했습니다. Artificial Analysis의 순위에 따르면, 이 모델은 Claude Opus 5, Fable 5, GPT-5.6 Sol에 이어 580개 모델 중 4위를 차지했습니다. Moonshot은 가중치 (weights) 이상의 것을 공개했습니다. 저는 47페이지 분량의 기술 보고서 (technical report)를 읽고 공개된 코드를 살펴보았습니다. 세 가지 핵심 사항이 눈에 띄었습니다. 첫째, Kimi Delta Attention은 93개 레이어 중 69개 레이어의 KV 캐시 (KV cache)를 헤드당 하나의 128x128 행렬로 대체합니다. 이를 통해 1M-토큰 컨텍스트 (context)는 104.6 GiB 대신 27.2 GiB만 사용합니다. 둘째, 분위수 균형 (Quantile Balancing) 기술은 레이어당 896개의 전문가 (experts)가 균등하게 로드되도록 유지합니다. DeepSeek-V3의 고정 단계 편향 유도 (fixed-step bias nudging) 방식은 해당 전문가 수에서 한계가 발생하므로, K3는 한 배치 (batch)의 라우터 점수 마진 (router score margins)으로부터 직접 편향 (bias)을 계산합니다. 셋째, 강화학습 (RL) 훈련의 배후에 있는 Firecracker 마이크로VM (microVM) 런타임인 AgentENV는 133ms의 체크포인트 (checkpoints)와 49ms의 재개 (resumes) 속도로 5,100만 개의 샌드박스 (sandboxes)를 생성했습니다. 덕분에 모델이 생각하는 동안 궤적 (trajectory)은 비용 없이 일시 중지됩니다. 전체 분석: https://codepointer.substack.com/p/how-kimi-k3-engineered-its-way-to /u/noninertialframe96에 의해 r/MachineLearning에 제출됨 [link] [comments]