우리는 Hugging Face Journal Club에서 Kimi K3 기술 보고서를 병렬로 읽으며 대규모 증류 공격 (distillation attack)을 수행했습니다 :)

우리의 주요 결론은 최첨단 (frontier) 성능 뒤에 숨겨진 특별한 비법(secret sauce)은 없는 것으로 보인다는 점입니다.

대신, K3는 모델을 최첨단 (frontier) 수준으로 밀어 올리기 위해 얼마나 많은 어려운 알고리즘 및 인프라 결정들(증류 (distillation), RL 스케줄링 (RL scheduling), 환경 (environments), 양자화 (quantisation), MoE 샤딩 (MoE sharding) 등)이 함께 작동해야 하는지를 보여주는 사례입니다.

우리가 배운 내용은 다음과 같습니다:

• 최첨단 (frontier) 사후 학습 (post-training)은 점점 전문가 학습 (expert training) 후 증류 (distillation)를 수행하는 형태를 띠고 있습니다. K3는 세 가지 도메인과 세 가지 추론 노력 (reasoning-effort) 수준에 걸쳐 전문가들을 학습시킨 다음, 멀티 티처 OPD (multi-teacher OPD)를 사용하여 결과물인 9개의 전문가를 단일 체크포인트 (checkpoint)로 다시 증류 (distils)합니다.

• 추론 노력 (Reasoning effort)은 학습 가능한 능력으로 취급됩니다. 토큰 예산 (Token budgets)은 SFT 모델로부터 추정되며, 단계별 커리큘럼 (stage-wise curriculum)은 긴 롤아웃 (long rollouts)에서 짧은 롤아웃 (short rollouts)으로 어닐링 (anneals)되어 저-노력, 고-노력 및 최대-노력 전문가를 생성합니다.

• 부분적 롤아웃 (Partial rollouts)은 비용이 많이 드는 RL 인프라를 계속 가동 상태로 유지합니다. 완료된 궤적 (trajectories)은 즉각적인 업데이트를 트리거할 수 있는 반면, 완료되지 않은 궤적은 이후의 반복 (iterations)으로 넘겨져 우선순위 큐 (priority queue)를 통해 재우선순위화됩니다. 토큰당 교정 (Per-token corrections)은 결과적으로 발생하는 오프-정책 (off-policy) 동작을 제어하는 데 도움이 됩니다.

• 보상 모델 (reward model) 자체가 에이전트 (agent)입니다. 고정되거나 이진적인 보상 (binary rewards)에만 의존하는 대신, 작업별 루브릭 (task-specific rubrics)을 생성하고 이를 기준으로 응답을 즉석에서 점수화합니다.

• 환경 인터페이스 (environment interface)는 구성을 위해 설계되었습니다. 통합된 화이트박스 추상화 (white-box abstraction)를 통해 동일한 학습 시스템이 단일 시스템에 특화되는 대신 Codex, CC, Hermes와 같은 서로 다른 에이전트 하네스 (agent harnesses) 전반에서 작동할 수 있습니다.

• 시스템 작업은 알고리즘 작업만큼이나 흥미롭습니다. GPU는 학습 (training)과 추론 (inference) 사이를 동적으로 전환하며, 롤아웃 동시성 (rollout concurrency)은 KV-캐시 (KV-cache) 압력에 대응하고, 참조 모델 (reference models)은 필요할 때까지 CPU에 머무를 수 있습니다.

• 양자화 (Quantisation)는 단순한 배포의 일부가 아니라 훈련의 일부입니다. K3는 가중치 (weights)와 활성화 (activations)에 대해 양자화 인식 훈련 (QAT)을 사용하며, 훈련과 추론 사이의 불일치 (mismatch)를 줄이기 위해 트레이너 (trainer)와 추론 서버 (inference server)의 양자화 방식 (quantisation schemes)을 일치시킵니다.

• 채팅 템플릿 (chat template)은 참신하며, 템플릿을 반복적으로 재설계하지 않고도 새로운 도구 (tools)와 양상 (modalities)을 수용할 수 있도록 설계된 확장 가능한 토큰 마크업 언어 (token markup language)를 도입합니다.

• 합성 태스크 생성 (Synthetic task generation)은 점점 더 자율적으로 변하고 있습니다. 에이전트 (Agents)가 지식 그래프 (knowledge graph)를 탐색하고 웹을 검색하여 대규모로 훈련 태스크를 생성하지만, 보고서에서는 이들의 통합 (integration)에 관한 일부 세부 사항을 명확하게 규정하지 않은 채 남겨두었습니다. (이 부분이 매우 멋졌습니다)