Kimi K3는 중국의 오픈 소스 모델임에도 불구하고 벤치마크에서 선도적인(frontier) 모델들과 대등한 성능을 보여주면서 AI 업계에 큰 충격을 주었습니다. 실제로 무슨 일이 일어나고 있는지 자세히 설명해 드리겠습니다.
중국의 연구소들은 미국 연구소들보다 GPU를 훨씬 적게 보유하고 있음에도 불구하고 '거의 동등하게 좋은' 모델을 훈련시킬 수 있습니다. 이는 중국 연구소들이 훈련 과정에서 훨씬 적은 GPU만 사용하도록 만드는 엄청난 효율성을 가지고 있다는 것을 의미합니다. 이는 AI 업계가 전제하는 막대한 자본 지출(capex)이 필요한 빌드아웃, 즉 더 적은 HBM, 더 적은 데이터센터, 더 적은 클라우드 비용을 암시합니다.
하지만 이 모든 논리에는 큰 구멍이 있습니다. Kimi K3를 만든 MoonshotAI라는 연구소는 미국 연구소들보다 훈련 효율성이 훨씬 높다고 알려져 있지만, 그들의 추론(inference) 컴퓨팅 소비는 같거나 심지어 더 비효율적입니다! Kimi K3의 비용은 GPT 5.5와 정확히 같고 Claude 4.8 Opus High보다는 약간 적습니다.
일부 사람들은 '비싼 토큰'이 무엇을 의미하는지 오해하고 있습니다. 네, 오픈 소스 가중치/토폴로지의 비용은 0이지만, 모델을 실행하는 데 필요한 컴퓨팅/GPU 양은 추론 효율성의 지표입니다. 컴퓨팅/GPU 시간은 매우 비싸며, 오픈 소스 추론 비용이 결코 공짜가 아닙니다.
MoonshotAI의 Kimi가 훈련에서는 훨씬 효율적인데도 불구하고 추론에서는 약간 덜 효율적이라는 것은 전혀 말이 되지 않습니다. 왜 그럴까요? 훈련은 순전파(forward pass)와 역전파(backward pass)로 이루어지고, 추론은 순전파만으로 이루어집니다. 이는 훈련 효율성 개선이 추론 효율성 개선으로 이어진다는 것을 의미합니다.
MoonshotAI의 훈련 및 추론 효율성이 비대칭적인 이유를 아십니까? 그들의 '훈련 효율성'은 미국 모델을 증류(distilling)하는 것에서 비롯되기 때문입니다. 만약 MoonshotAI가 진정한 훈련 효율성을 가지고 있다면, 추론에서도 효율성을 보여야 하지만, 그들은 추론 효율성 면에서는 어떤 이점도 없습니다!
AI 설비투자(Capex)는 계속될 것입니다. 그 이유는 다음과 같습니다.
- 만약 American Labs가 컴퓨팅 자원 투자를 중단한다면, 중국 모델들 역시 발전이 멈출 것입니다. AI의 진보는 멈추게 됩니다. 미국 기업들은 중국이 자신들을 모방하려 한다고 해서 포기한 적이 없습니다.
- 중국 모델들은 여전히 추론(inference)에 많은 컴퓨팅 자원/GPU를 소비합니다. 어쨌든 추론 수요가 학습(training) 수요를 초과할 것입니다.