Kimi K3는 896개의 전문가 (experts)를 가진 Mixture-of-Experts (MoE) 모델로, 토큰당 16개의 전문가가 활성화됩니다. 주요 이점은 효율성입니다. 2.8T 파라미터의 용량을 확보하면서도, 순전파 (forward pass)당 16개 전문가에 해당하는 연산 비용만 지불하면 됩니다.

분산 추론 (distributed inference)의 경우, 이러한 라우팅 패턴은 스케줄링 및 신뢰성 문제이기도 합니다.

라우팅 과제

표준적인 밀집 모델 (dense model)에서는 모든 파라미터가 모든 토큰에 사용됩니다. 연산 패턴이 균일합니다. MoE 모델에서는 서로 다른 토큰이 서로 다른 전문가 서브셋으로 라우팅됩니다. 이는 다음을 의미합니다:

• GPU 워커 (workers) 간의 부하 (load)가 균일하지 않음
• 일부 전문가는 핫 (hot, 빈번하게 활성화됨)한 반면, 다른 전문가는 콜드 (cold)할 수 있음
• 필요한 전문가를 호스팅하는 워커가 실패하면 요청이 차단됨

K3의 경우 구체적으로:

• 896개의 전문가는 이들을 모두 수용할 수 있는 충분한 GPU 메모리가 필요함을 의미함
• 토큰당 16개만 필요하므로 활성화 패턴이 희소함 (sparse)
• 라우터 (router, 게이팅 네트워크)가 토큰당 사용할 16개를 결정함

분산 추론 테스트

K3(또는 다른 대규모 MoE 모델)를 분산 환경에 배포하기 전에, 다음과 같은 불변량 (invariants)을 정의해야 합니다:

1. 전문가 배치 및 장애 조치 (failover)

expert_placement:
  total_experts: 896
  workers: 8
...

워커가 실패하고 토큰이 해당 워커에 있는 전문가를 필요로 하는 경우, 요청이 차단되거나, 다른 전문가로 폴백 (fallback, 출력 품질이 변경됨)되거나, 완전히 실패합니다. 배포 시에는 이에 대한 정의된 답변이 필요합니다.

2. 부하 분산 (Load balance)

대표적인 워크로드 전반에 걸쳐 각 전문가의 활성화 빈도를 측정합니다. 만약 토큰의 80%가 전문가의 20%로 라우팅된다면, 워커의 균형이 맞지 않는 것입니다:

load_balance_check:
  measure: "expert_activation_frequency"
  acceptable_imbalance_ratio: 2.0
...

3. 부분적 실패 시의 지연 시간 (Latency)

하나의 워커가 느려질 때 (죽은 것은 아니지만 느린 경우) 어떤 일이 발생하는지 테스트합니다. 밀집 모델에서는 모든 워커가 동일하게 참여하므로, 느린 워커가 모든 것을 균일하게 지연시킵니다. MoE 모델에서는 느린 워커가 자신의 전문가로 라우팅되는 토큰만 지연시킵니다:

4. 전문가 수준 지표 (Expert-level metrics)

신뢰할 수 있는 운영을 위해, 전문가별 지표를 내보내야 합니다:

• 전문가당 활성화 횟수 (분당)
• 전문가당 지연 시간 (Latency)
• 전문가당 메모리 사용량
• 전문가당 장애 조치 (Failover) 횟수

워커 수준의 지표만 가지고 있다면, 전문가 수준의 핫스팟 (Hotspots)을 진단할 수 없습니다.

이 내용이 다루지 않는 것

이것은 배포 준비 프로토콜 (Deployment readiness protocol)이지, 배포된 시스템이 아닙니다. 저는 분산 추론 (Distributed inference) 환경에서 K3를 실행해 보지 않았습니다. 전문가 수와 활성화 패턴은 Moonshot AI가 발표한 사양 (Specification)에서 가져온 것이며, 신뢰성 문제는 MoE 아키텍처에 적용된 표준 분산 시스템 관행입니다.

또한 이 프로토콜은 896개의 모든 전문가를 수용할 수 있는 GPU 메모리를 보유하고 있다고 가정합니다. 양자화 (Quantized) 버전이나 부분 오프로딩 (Partial offloading)을 사용하는 경우, 배치 (Placement) 및 장애 조치 (Failover) 문제는 더욱 복잡해집니다.

출처

• K3 아키텍처: MoE, 896개 전문가, 토큰당 16개 활성화 (Moonshot AI, 2026-07-16)
• K3 파라미터 수: 총 2.8T
• K3 컨텍스트 윈도우 (Context window): 1M 토큰

공개 사항: 저는 MonkeyCode 사용자로서 저의 개인적인 경험을 공유하는 것이며, 해당 프로젝트와 관련이 없습니다. MonkeyCode는 오픈 소스 AI 코딩 플랫폼입니다: https://github.com/chaitin/MonkeyCode