모두가 Kimi K3에 대해 이야기하고 있지만, 곧바로 기술 보고서(technical report)로 뛰어든다면 그것이 다른 모든 혁신적인 기술과 마찬가지로 수년간의 연구를 바탕으로 하고 있다는 사실을 빠르게 깨닫게 될 것입니다! Kimi 팀이 이 작업에 쏟은 노력을 이해하고 싶다면, 제가 권장하는 읽기 순서는 다음과 같습니다.

Linear Transformers Are Secretly Fast Weight Programmers
이것이 기초입니다. 이 논문은 선형 어텐션 (linear attention)에 대한 가장 영향력 있는 해석 중 하나를 제공하며, 많은 선형 어텐션 메커니즘이 '빠른 가중치 프로그래머 (fast weight programmers)'로 간주될 수 있음을 보여줍니다. 어텐션을 순수하게 쌍별 토큰 상호작용 (pairwise token interactions)으로 생각하는 대신, 선형 어텐션을 연상 메모리 (associative memory)를 지속적으로 업데이트하는 시스템으로 프레임화합니다. 이러한 관점을 이해하지 못하면, 왜 현대의 선형 어텐션 아키텍처가 다시 경쟁력을 갖게 되었는지 이해하기 어렵습니다.

Gated DeltaNet (arXiv:2412.06464)
선형 어텐션 (linear attention)에 익숙해졌다면, Gated DeltaNet으로 넘어가세요. 이 논문은 게이트형 델타 업데이트 (gated delta update) 메커니즘을 도입하여 긴 시퀀스(long sequences)에 걸쳐 상태가 업데이트되는 방식을 개선합니다. 고정된 업데이트 규칙을 사용하는 대신, 모델은 언제 그리고 얼마나 많은 정보를 메모리에 기록해야 하는지를 학습합니다. 이후 Moonshot AI의 작업에 등장하는 많은 아이디어는 이러한 상태 업데이트 (state-update) 개념을 직접적으로 기반으로 합니다.

Kimi Linear / Kimi Delta Attention (KDA)
이 단계는 Moonshot AI가 궁극적으로 Kimi K3의 중추가 되는 아키텍처를 소개하는 지점입니다. Kimi Linear는 Kimi Delta Attention (KDA)을 제시하는데, 이는 선형 어텐션의 효율성과 짧은 컨텍스트 (short contexts), 긴 컨텍스트 (long contexts), 그리고 강화학습 (reinforcement learning) 설정 모두에서 전체 어텐션 (full attention)과 대등하거나 더 나은 성능을 결합하도록 설계된 하이브리드 선형 어텐션 아키텍처입니다. Kimi K3가 이를 기반으로 구축되었기 때문에 KDA를 이해하는 것은 필수적입니다.

LatentMoE (arXiv:2601.18089) → Stable LatentMoE
Kimi K3는 단지 어텐션에 관한 것만이 아닙니다. 또한 전문가 혼합 (Mixture-of-Experts, MoE) 설계를 크게 발전시켰습니다.

먼저 LatentMoE부터 시작하세요. 이는 모델의 강력한 품질을 유지하면서도 훨씬 더 높은 희소성 (Sparsity)을 가능하게 하는 잠재 공간 라우팅 (Latent-space routing) 공식을 도입합니다. 그다음으로는 Moonshot AI가 해당 아이디어를 발전시킨 Stable LatentMoE를 공부하세요. 이는 Kimi K3에서 희소 전문가 라우팅 (Sparse expert routing)을 효율적으로 확장하는 데 사용됩니다. K3에서 Stable LatentMoE는 토큰당 896개의 라우팅된 전문가 중 16개를 활성화하며, 이는 보고된 스케일링 효율성 (Scaling efficiency) 개선에 기여합니다. Attention Residuals (arXiv:2603.15031) 잔차 연결 (Residual connections)은 Transformer가 도입된 이후 대체로 변하지 않은 채 유지되어 왔습니다. Attention Residuals는 단순한 질문을 던집니다: 만약 이 모든 잔차들을 단순히 한데 뭉쳐버리는 대신, 모델이 잔차 네트워크를 어떻게 사용할지 스스로 결정하게 한다면 어떨까? (질문을 올바르게 구성해 준 이 분께 감사드립니다: 제 버전은 약간 잘못 구성되었습니다) Kimi K3는 대규모 학습에 실용적인 접근 방식을 유지하면서 모델 깊이에 따른 정보 흐름을 개선하기 위해 이 메커니즘을 채택했습니다. Kimi 모델의 진화 과정을 따라가세요. 마지막으로, Kimi 모델 보고서들을 순서대로 읽으십시오: Kimi K1.5 – 강화학습 (Reinforcement learning) 스케일링 및 추론 (Reasoning). Kimi K2 – 아키텍처 및 학습 파이프라인의 지속적인 스케일링. Kimi K2.5 – 멀티모달 (Multimodal) 및 에이전트 (Agentic) 개선 사항. Kimi K3 – Kimi Delta Attention, Attention Residuals, Stable LatentMoE, 정교해진 학습 레시피 (Training recipes), 인프라 발전, 그리고 대규모 강화학습을 하나의 프런티어 모델 (Frontier model)로 통합했습니다. 이 보고서들을 순차적으로 읽으면 K3를 고립된 출시물로 보는 대신 아키텍처가 어떻게 진화했는지 훨씬 더 쉽게 파악할 수 있습니다. 가장 중요한 핵심은 Kimi K3가 하룻밤 사이에 나타난 것이 아니라는 점입니다.

이는 여러 연구 흐름이 수렴된 결과입니다:
• 선형 어텐션 (Linear attention) 기초
• 더 나은 순환 상태 업데이트 (Recurrent state updates)
• 더 강력한 선형 어텐션 아키텍처 (KDA)
• 더 확장 가능한 희소 MoE 라우팅 (Sparse MoE routing)
• 개선된 잔차 연결 (Residual connections)
• 이러한 아이디어들을 통합하고 정교화해 온 Kimi 모델들의 연속적인 세대들

만약 Kimi K3 기술 보고서(Technical report)를 심도 있게 공부할 계획이라면, 이 독서 경로가 단순히 아키텍처가 무엇인지뿐만 아니라 왜 그러한 아키텍처적 선택이 이루어졌는지 이해하는 데 필요한 맥락을 제공할 것입니다.

/u/East-Muffin-6472가 r/LocalLLaMA에 게시함 [link] [comments]