저는 매일 4×3090 리그(rig)에서 중국산 오픈 모델(open models)을 실행합니다. 이러한 모델들이 중국 내수용 하드웨어에 맞춰 튜닝되는 것을 지켜볼수록, 그 하드웨어가 실제로 무엇인지 알고 싶어졌고, 그래서 제가 직접 정리해 보았습니다. 최소 7개의 중국 기업이 이미 AI 가속기(AI accelerators)를 출하하고 있으며, 그들 대부분은 지난 6개월 이내에 기업공개(IPO)를 했습니다.

중국 자체의 프레임워크는 "3룡 4사(3 dragons, 4 snakes)"입니다. '용(dragons)'은 풀스택 GPU(full-stack GPUs)를 구축하는 빅테크(Big Tech) 기업들입니다. Huawei 혼자서만 작년에 중국 내수 공급량의 49%에 해당하는 812,000개의 AI 카드를 출하했으며, 자체적인 HBM과 자체 팹(fabs)을 보유하고 있습니다. Ascend 950은 H200급을 목표로 하는 것으로 알려져 있습니다.
https://preview.redd.it/w4skesgez19h1.png?width=3000&format=png&auto=webp&s=0b38c70a9f73de400a0429e8bb456bf92648e7c8

'사(snakes)'는 최근 IPO를 마친 순수 플레이어(pure-plays) 기업들이며, 이 부분이 저를 놀라게 했습니다. 이들 중 몇몇은 NVIDIA와 AMD의 전직 수석 GPU 아키텍트(chief GPU architects)들에 의해 설립되었습니다. MetaX는 기본적으로 AMD의 과거 글로벌 GPU 리더십이 Shenzhen에서 재건된 형태이며, 매출이 3년 만에 약 3,800배 증가했습니다. Alibaba는 한 박스에 16×96GB = 1.5TB의 VRAM을 탑재한 서버를 출하하고 있는데, 이는 프런티어 모델(frontier model)을 BF16 형식으로 온프레미스(on-prem)에 완전히 담기에 충분한 용량입니다.
https://preview.redd.it/1423erfgz19h1.png?width=3000&format=png&auto=webp&s=5882f058b5068b692b57f9c5d80178e97a43870b

한편, 생산 거점이 TSMC에서 SMIC로 이동했으며, NVIDIA의 중국 시장 점유율은 2년 만에 약 95%에서 55%로 하락했습니다. 하드웨어(metal)와 오픈 모델(open models)이 수렴하고 있습니다.

7개 벤더(vendors) 및 출처를 포함한 전체 분석 내용:
https://x.com/superalesha/article/2069415447779246440
submitted by /u/awfulalexey
[link] [comments]