중국 LLM 랩들의 성과에 대한 매우 뛰어난 통찰이기에 번역해서 인용합니다.

이번 KIMI K3의 성과가 매우 놀랍지만, 이걸 간과해선 안 될 것입니다.

“1. 중국은 최신 GPU나 충분한 수량의 GPU에 대한 접근권이 없습니다. 또한 고급 ASIC을 제조하는 데 필요한 리소그래피 장비 및 기타 전구체에도 접근할 수 없습니다.

2. 미국 연구소에 비해 훨씬 적은 수의 GPU만으로도, 중국 연구소들은 항상 미국 연구소들의 바로 뒤를 따라잡을 수 있습니다.

3. 이에 대한 한 가지 해석은 중국 연구소들이 모델 훈련에 있어 놀라운 효율성을 보유하고 있다는 것입니다. 이는 AI 인프라 구축에 대한 수요가 크게 줄어들 수 있음을 시사합니다.

4. 3단계의 문제점은 중국 모델들이 추론(inference) 과정이나 LLM을 쿼리할 때 추가적인 효율성을 보이지 않는다는 것입니다. 학습 효율성과 추론 효율성은 함께 따라오기 마련입니다.

5. 따라서 4단계에서 도출되듯이, 중국 연구소들이 엄청난 학습 효율성을 갖추면서도 그에 상응하는 추론 효율성이 없다는 것은 가능성이 낮습니다.

6. 따라서 그 원인은 중국 연구소들의 "학습 효율성"이 기본적으로 미국 모델로부터의 증류(distillation), 즉 미국 모델을 활용해 중국 모델을 학습시키는 방식에 있다는 것입니다.

7. 미국 모델들은 계속해서 AI를 발전시키고 학습을 위해 많은 GPU를 구매할 것입니다.

8. 미국 프론티어 모델을 쿼리(추론)하든 중국 오픈소스 모델을 쿼리하든, 여전히 비슷한 수의 GPU가 필요합니다. 추론용 GPU에 대한 수요는 학습용 GPU보다 더 빠르게 증가하고 있습니다.

그런가 하면 화웨이 어샌드와 같은 중국산 ASIC이 잘 작동하고 있다고 말하는 사람들도 있습니다. 그러나 이는 실제로 중국에 가보면 자국의 오픈소스 모델들이 컴퓨팅 자원 부족으로 인해 성능이 크게 제한되어 있다는 사실과 모순됩니다. 또한 중국 개발자들은 Claude 코드에 접근하기 위해 VPN을 사용합니다. 중국 모델들은 실제로 코딩에 뛰어나지만, 중국 내에서는 충분한 컴퓨팅 자원이 없기 때문에 중국 내에서 서비스될 때 성능이 제한됩니다.“