지난주 중국의 'Moonshot Kimi K3' 출시와 최근 'Alibaba Qwen 3.8 Max'의 등장에 따라, 많은 논의가 추론 (inference)을 위한 추가적인 컴퓨팅 (compute)의 필요성을 재확인하는 데 집중되고 있습니다. 저는 이것이 상당히 기초적이고 당연한 관찰이라고 생각합니다. 이러한 논의들은 더 중요한 깨달음인 "컴퓨팅의 분산화 (decentralization of compute)"를 간과하고 있습니다.

미국의 AI 전략은 지금까지 소수의 기업이 모델을 학습 (train) 및 배포 (deploy)하기 위해 거대한 데이터 센터 (datacenter) 구축에 수조 달러를 지출해야 한다는 개념을 바탕으로 구축되어 왔습니다. 그 전략이 처음으로 도전을 받고 있습니다. 지식 증류 (distillation)가 중국 전략의 일부인지 여부와 상관없이, 중요한 것은 결과입니다. 결과는 더 적은 비용으로 더 많은 주체에 의해 경쟁력 있는 모델들이 생산되고 있다는 점입니다. 어쨌든 우리는 지식 증류 (distillation)를 완전히 막을 수 있는 방법을 찾지 못했습니다. 만약 그것이 쉬운 일이었다면, Anthropic과 OpenAI는 이미 그러한 프로토콜을 구축하기 위해 필요한 모든 비용을 지불했을 것입니다.

따라서, AI가 확산됨에 따라 추론 (inference)을 위해 전반적으로 더 많은 컴퓨팅 (compute)이 필요할 것이라는 점은 맞지만, 그 컴퓨팅의 비용과 통제 부담은 더욱 파편화 (fragmented)될 가능성이 높습니다. 전 세계의 더 작은 AI 연구소들과 맞춤형 모델을 배포하는 기업들은 지금까지 우리가 보았던 것보다 훨씬 더 빈번하게 자신들만의 컴퓨팅 스택 (stacks of compute)을 확보(또는 대여)하기 시작할 것입니다. 하이퍼스케일러 (hyperscaler) 거대 기업들이 자본 지출 (capex) 부담 전체를 짊어질 필요는 없으며, 향후 몇 달 또는 몇 년 안에 업계는 이를 받아들이기 시작할 것입니다. 이를 분산화 (decentralization), 파편화 (fragmentation), 재분배 (redistribution) 등 무엇이라 부르든, 자본 지출 (capex)을 생성하는 원천은 더욱 흩어지게 될 것입니다.

Meta의 최근 클라우드 분야 진출은 이러한 현상의 초기 징후라고 생각합니다. 많은 이들이 처음에는 이를 과잉 컴퓨팅 용량 (excess compute capacity)의 표현으로 해석했지만, 실제로는 그 용량을 더 넓게 분산시켜야 하는 임박한 필요성에 대한 신호이자 실현에 훨씬 더 가까웠습니다. 제 관점에서 볼 때, 이는 초기 단계로서 클라우드 컴퓨팅 (cloud compute) 산업 전체에 구조적으로 낙관적인 (bullish) 신호로 읽힙니다.