비전공자 친구들이 Kimi K3가 어떻게 "2.8T 파라미터"이면서도 실행 비용이 저렴할 수 있는지 계속 물어봐서, 배경지식이 전혀 없는 사람들을 위한 2부 구성의 설명글을 작성했습니다. 이곳에 공유하는 이유는 (a) 가장 좋은 비유들이 이 서브레딧(sub)의 토론에서 나왔기 때문이며, (b) 이 커뮤니티라면 제가 너무 단순화해서 틀린 부분이 있다면 바로 잡아낼 것이기 때문입니다. 주요 수치와 함께 다루는 내용은 다음과 같습니다:

• 희소성(Sparsity) 경쟁: Mixtral 13B/47B 활성 파라미터 (~28%) -> DeepSeek-V3 37B/671B (5.5%) -> Llama 4 Maverick ~4% 및 gpt-oss-120b ~4.4% -> K3가 주장하는 896개 중 16개 전문가 (~전문가의 1.8%; Moonshot은 활성 파라미터 수를 공개하지 않았으므로, 가중치(weights)가 실제로 공개될 때까지 K3의 모든 수치는 기업 보고 수치로 표시됩니다)
• 전문가는 특정 분야의 전문가가 아님 (Mixtral의 자체 라우팅 분석에 따르면: 들여쓰기, Python의 "self", 구문 패턴 등을 다루며 "수학 전문가"가 아님)
• KV 캐시(KV cache)가 실제 긴 문맥(long-context) 비용인 이유: V3의 공개된 차원(dims)에서, 표준 MHA(Multi-Head Attention)를 사용할 경우 32k 토큰 채팅 하나에 대한 노트는 약 131 GB에 달합니다. V3는 MLA를 통해 이를 방지합니다; 계산 과정은 각주에 포함되어 있으니 직접 확인하실 수 있습니다.
• MLA (이전 모델 대비 캐시 93.3% 절감) 및 KDA (Kimi Linear 논문에 따르면 고정 크기 상태, 채널별 망각, 3:1 하이브리드, 최대 75% 절감)

공로를 돌릴 곳: "거대한 슈퍼마켓, 작은 바구니"라는 프레임워크와 창발적 전문화(emergent-specialization)에 대한 설명은 이곳의 스레드, 특히 "Mixture-of-Experts 모델이 실제로 무엇인지 설명해 줄 수 있나요?" 스레드에서 가져왔습니다. 모든 내용은 참조된 원문 논문을 바탕으로 하며, 각 참조마다 사용된 위치를 매핑하여 명시했습니다.

1부 (MoE): https://mkadri85.github.io/blog/mixture-of-experts-explained/
2부 (KV 캐시 / MLA / KDA): https://mkadri85.github.io/blog/why-long-context-is-hard/

두 글 모두 아랍어 버전도 있으니, 도움이 될 만한 아랍어 사용 학생들을 알고 계신다면 공유해 주세요. 제가 틀렸거나 지나치게 단순화한 부분이 있다면 알려주세요. 수정하고 귀하의 성함을 명시하겠습니다.

submitted by /u/MohamedKadri_ [link] [comments]