COMPUTE

AMD가 제시하는 랙스케일(Rackscale) AI 시스템 로드맵으로 추격하는 자금 흐름

이번 주, AMD는 실리콘밸리에서 매년 개최되는 Advancing AI 이벤트를 열었으며, 돈, 로드맵, 제품 심층 분석에 대한 이야기가 많이 나오고 있습니다.

AMD 최고경영자(CEO)인 Lisa Su처럼, 그녀가 칩 제조사를 자기 파괴적인 경향성으로부터 구했을 뿐만 아니라 하드웨어와 소프트웨어 라인업을 확장하고 심화시켜 AI 산업의 거물 Nvidia와 전 CPU 경쟁사 Intel에 대한 확실한 대안으로 만들었다는 점이 분명합니다. 저희는 이 이벤트 보도를 총 유효 시장(total addressable markets)과 이를 주도하는 힘에 대한 업데이트로 시작하겠습니다.

앞으로 며칠 동안, 우리는 AMD의 'Helios' 랙스케일 서버 설계에 올해 후반에 여러 OEM 및 ODM 파트너들이 합류하면서 데뷔할 MI455X 변종을 위한 'Altair' MI400 아키텍처의 세부 사항을 알아볼 것입니다. 또한, 올해 후반에 출시될 것으로 예상되는 차세대 'Venice' Epyc 9006 프로세서에 대한 새로운 세부 정보도 살펴볼 예정입니다. 그리고 AMD가 일부 미리 공개한 로드맵들을 살펴보며, 이를 통해 AMD가 공정한 기회 점유율을 확보하는 데 도움이 될 것입니다.

자, 더 이상 지체하지 않고 돈에 대해 이야기해 봅시다.

Su는 오프닝 키노트 연설에서 2020년 이후 AI 학습(AI training) 워크로드가 매년 컴퓨팅 요구량을 5배씩 증가시키고 있으며, 이러한 추세가 약화될 조짐이 없다고 말했습니다. 이는 크고 작은 AI 모델 빌더들에게 일정 수준의 컴퓨팅 파워를 요구합니다. 하지만 Su에 따르면 가장 큰 동력은 상대적으로 소수의 회사에서 이루어지던 AI 학습에서 벗어나, API를 통해 GenAI 모델을 임대하거나 라이선스 또는 오픈소스 모델로 자체 추론(inference)을 실행하기 위해 AI 시스템을 구매하는 방향으로의 불가피하고 기대되던 전환입니다.

이러한 후자의 변화는 오랫동안 예상되어 왔으며, 생성형 AI(GenAI)가 등장하기 전 몇 년 전의 예측에 따르면, 추론(inference)이 결국 학습(training) 대비 3배 또는 4배의 컴퓨팅 파워(따라서 매출)를 주도할 것이었습니다. 아직 완전히 그 단계는 아니지만, 작년에 AI 가속기 시장에서 수(Su)가 발표했을 때 추론과 학습이 약 50:50으로 분리되었다고 했으나, 올해는 추론이 60%, 학습이 40%를 차지할 것으로 예상한다고 합니다. 2024년에는 약 40:60 정도였습니다:

우리가 모두 알고 싶어 하는 질문은 언제쯤 추론과 학습의 비율이 2:1, 3:1, 또는 4:1, 심지어 10:1이 될 것인가입니다. 그 시점이 되면 AI 추론 – 특히 전통적인 머신러닝(ML)보다는 생성형 AI 추론이 – 기업뿐만 아니라 하이퍼스케일러, 클라우드 빌더, AI 모델 구축자들에게도 진정한 프로덕션 워크로드(production workload)가 된다는 것을 의미할 것입니다. (참고로, 수(Su)가 제시한 차트 중 일부를 분해하여 그 밑바탕에 깔린 데이터를 재구성하면, AI 학습과 추론 간의 매출 비율, 심지어 GPU/XPU 학습과 CPU 기반 에이전틱(agentic) 작업 간의 비율까지 도출할 수 있습니다.

수(Su)가 보여준 전 세계 토큰 소비 곡선은 Exponential View의 State of the AI Economy 보고서에서 나온 것이며, 2024년 1월부터 올해 2월까지 GenAI 모델에 의해 소비되거나 생성된 토큰 수의 월별 증가를 보여줍니다:

Exponential View는 2월에 무려 월 35 콰드리릴리언(quadrillion) 토큰이 소비되거나 생성되었으며, 이 지수 곡선으로 볼 때 7월을 마무리하는 8일 후에는 월 50 콰드리릴리언 토큰 수준에 도달할 것으로 추정했습니다. GenAI 붐 속에서 AI 모델 빌더들과 이를 서비스하는 하이퍼스케일러 및 클라우드 빌더들 모두 이 곡선이 계속 상승하기를 간절히 바라며, 따라서 올해 구축하고 있는 수천억 달러 규모의 AI 시스템 용량을 정당화하려고 합니다. 이 곡선이 계속 성장할 수 있는 유일한 방법은 더 많은 머신을 확보하는 것뿐이지만, 항상 *꿈의 공장(Field of Dreams)*의 역설적인 가능성이 존재합니다: 만들어도 아무도 오지 않을 수 있습니다.

지금까지 AI 처리 수요가 공급을 초과하고 있으며, 이것이 모든 주요 부품—CPU, GPU, DRAM 메모리, 플래시, 스위치 ASIC, 광학 부품—의 가격이 유사한 곡선을 따라 상승하는 이유입니다.

AMD의 최고 경영진인 Su는 이러한 지수적 성장과 HPC 전반 및 특히 GenAI가 세상에 미칠 영향, 그리고 AMD가 Advancing AI 이벤트에서 추구하고 공개하는 전체 시장(total addressable markets)을 낙관적으로 바라보는 역할을 합니다.

AMD의 최고 경영진들이 몇 시간에 걸쳐 진행한 발표가 끝난 후, Su는 이렇게 말했습니다. “오늘날 AI에 대해 생각할 때, 우리가 보는 가장 큰 변화는 더 이상 무엇이 가능할지 이야기하는 것이 아니라는 점입니다.” “우리는 실제로 AI가 모든 산업과 우리의 개인 생활의 모든 부분에서 현실적이고 중요한 영향을 미칠 수 있다는 것을 보고 있습니다. 저는 기술 분야에서 경력을 쌓아온 내내 고성능 컴퓨팅(HPC)이 세상을 믿을 수 없을 만큼 더 나은 곳으로 만들 수 있다고 믿어왔고, 오늘날만큼 강하게 믿은 적은 없습니다. AMD가 집중하는 것은 기술과 로드맵, 그리고 파트너십을 구축하는 것입니다. 그리고 저희 3만 명 이상의 엔지니어들에게 오늘보다 더 흥분되는 순간은 없었습니다. 이것이 바로 AI의 다음 단계입니다. 우리가 모든 도구와 모든 역량을 가지고 AI에게 진정으로 의미 있는 현실 세계적 영향을 가져올 기회를 주는 곳입니다. 그리고 여러분, 우리의 생태계와 함께 이 모든 것을 구축하게 되어 더할 나위 없이 기대된다고 말씀드릴 수 있습니다.”

Su의 말처럼, 저는 AI가 엄청난 영향을 미칠 것이라고 믿습니다. 사실은 이미 큰 영향을 미쳤습니다. 심지어 그 영향력 벡터의 크기에는 동의합니다. 하지만 저는 그 벡터들의 방향과 전 세계 문화 및 경제에 걸쳐 분포하는 AI 힘의 비균일성에 대해서는 거의 확실하게 다릅니다. 2차적, 3차적 영향이 중요할 것이며, 어쩌면 더 명확한 1차적 영향보다도 더 중요할 것입니다.

이러한 것들을 개괄하고 문화에 미치는 영향을 예측하는 것은 The Next Platform의 임무는 아니지만, 여러분들이 하시는 것처럼 저희도 밤낮으로 생각하고 있다는 것을 확신시켜 드립니다. 전통적인 ModSim HPC 워크로드나 시장에 등장했던 초기 머신러닝(ML)을 할 때 그랬던 것처럼 말입니다. 저희의 역할은 새로운 기술들을 검토하고 그것들이 IT 시장에 미치는 영향을 확인하거나 예측하는 것입니다. 그 이상도 이하도 아닙니다.

여기에 어제 Su가 공개한 수정된 데이터센터 AI 가속기 TAM(Total Addressable Market)이 있습니다:

이는 2025년 6월 예측보다 2년 더 길며, AI 트레이닝과 AI 추론이 결합하여 2025년부터 2030년 사이에 45% 이상의 연평균 성장률(CAGR)을 달성하며 1조 4천억 달러를 초과할 것으로 예상됩니다. 이는 AMD 자체의 내부 예측이며, Su 덕분에 AI 트레이닝용 TAM과 AI 추론용 TAM 비율을 얻었습니다. 저희는 데이터 측면에서 시작점만 가지고 있지만, 이 두 끝점 사이의 2026년부터 2029년까지의 데이터를 계산할 수 있습니다.

AMD에 따르면 데이터센터 CPU TAM이 어떻게 전개될지 알려주었는데, 이는 많은 에이전트 AI 워크로드(모델이 코드를 생성하거나 기타 종류의 작업을 수행하는 샌드박스이며, GPU 또는 XPU 추론 엔진에 연결되어 많은 Python 코드를 실행하는 것)가 단순히 GPU나 XPU뿐만 아니라 CPU에서 실행될 것이기 때문에 중요합니다. 한번 살펴보시죠:

다시 한번, Su 덕분에 전 세계 모든 벤더의 예상 데이터센터 CPU 수익 흐름이 세 가지 범주로 분류되었습니다. 첫째는 백오피스 애플리케이션 및 데이터베이스, 웹 인프라, 다양한 종류의 데이터 분석을 구동하는 범용(general purpose) CPU입니다. 둘째는 AI 클러스터 노드의 호스트 프로세서로 사용되는 CPU이며, 셋째는 이러한 샌드박스가 가득 찬 에이전트 AI 클러스터입니다.

이는 매우 유용한 분류이며, Lisa에게 감사합니다.

다른 두 유형의 장치와 약간 다른 성능 및 용량 요구 사항을 가진 이 에이전트 AI 서버 클러스터가 IT 지출의 서버 CPU 부문을 활성화하고, 우리가 전에 본 적 없는 성장과 수익 수준을 이끌 것입니다. 이러한 황금 같은 TAM 기대치가 실제로 실현된다는 전제 하에 말입니다.

Su는 저희가 활용할 수 있는 또 다른 차트를 제공했는데, 이는 데이터센터, 클라이언트 장치 및 임베디드 장치 전반에 걸쳐 AMD가 추격하는 컴퓨팅의 총 유효 시장(Total Addressable Market)입니다:

AMD에 따르면 이러한 카테고리 전반의 총 컴퓨팅 TAM은 2025년부터 2030년 사이에 연평균 약 40%로 성장하여 2조 달러를 초과할 것이며, 보시다시피 데이터센터가 작년보다 훨씬 더 큰 비중을 차지하게 될 것입니다.

자, 이 모든 것을 바탕으로 제가 Su가 제시한 데이터를 재구성하고 일부 공백을 채우고 분석을 할 수 있습니다. 이것이 제 두뇌에게는 재미있는 활동입니다. 그리고 기억하세요: 이것은 DRAM, 플래시, 인터커넥트, 스크린, 키보드, 섀시 등이 추가된 완전한 시스템이나 장치가 아닌, 컴퓨팅 엔진 칩에서 나오는 수익에 대한 TAM입니다.

여기에 모든 것을 종합하고 공백을 채운 아주 보기 좋은 표가 있습니다. 평소와 같이 굵은 빨간색 이탤릭체로 표시된 부분이 그 공백들입니다:

연평균 성장률(CAGR)에 대한 한 가지 오해하기 쉬운 점은 이것이 단지 두 끝점 사이의 직선 평균 성장을 계산한다는 것입니다. 중간에서 무슨 일이 일어나는지는 실제로 볼 수 없습니다. 하지만 6년간의 실제 데이터센터 AI 가속기 및 데이터센터 CPU 지출을 고려하면, 더 광범위한 데이터를 더 잘 채울 수 있습니다. 왜냐하면 그 광범위한 데이터는 이 두 카테고리에 크게 영향을 받고 이 두 카테고리를 합친 것보다 커야 하기 때문입니다.

저는 전 세계 컴퓨팅 TAM이 2026년과 2027년에는 40% CAGR보다 더 빠르게 성장하고, 2028년에는 그 속도로 느려지다가, 2029년과 2030년에는 급격히 느려질 것이라고 생각합니다. 데이터센터 성장은 향후 2년간 더욱 높을 것이며, 이 역시 점차 줄어들 것입니다.

이러한 패턴은 약간의 변동성을 가지면서도 데이터센터 AI 학습 가속기 TAM에서도 나타날 것이며, 실제 AMD 데이터를 보시면 알 수 있습니다. 하지만 추론(inference)용 AI 가속기가 데이터센터에서 가장 높은 성장 영역이 될 것입니다.

이 표에서 몇 가지 점이 바로 눈에 띕니다. 첫째, 데이터센터 컴퓨팅의 총액은 2025년부터 2030년까지 6년간 $6.45조 달러로 엄청납니다. 한때는 클라이언트 디바이스 컴퓨팅이 데이터센터 컴퓨팅보다 훨씬 컸지만, 이제 그런 것은 잊으셔도 됩니다. 데이터센터는 해당 기간 동안 임베디드 및 클라이언트를 합친 것보다 8.3배 크고, 2030년에는 단독으로 10배가 될 것입니다. AI PC 같은 기술이 등장해도 그 격차는 더 벌어지고 있습니다.

또 주목할 점은 GenAI 워크로드를 주도하여 CPU 지출이 다시 증가하더라도, AI 가속기에 대한 지출이 CPU에 대한 지출을 훨씬 초과한다는 것입니다. AMD의 분석에 따르면 물리적 장치 비율은 장기적으로 1:1일 수 있지만, 데이터센터 AI GPU와 XPU에 지출되는 금액이 데이터센터 CPU에 지출되는 금액을 능가할 것이라고 합니다. 데이터센터 GPU 및 XPU 대 데이터센터 CPU의 비율은 2025년에 7.9배였고, 2026년에는 6.8배로 예상되지만, 이후 몇 년 동안 약 6.4배 수준으로 안정화되며 AMD가 제공한 TAM 수치에서는 6년간 평균 6.5배를 기록할 것으로 보입니다.

다른 흥미로운 점은 에이전트 AI (agentic AI) CPU의 TAM이 2026년에는 범용(general purpose) CPU TAM만큼 클 것이며, 작년에는 0이었다는 것입니다. 2030년까지 이 에이전트 AI CPU 부문은 데이터센터 내 범용 CPU 부문보다 5.2배 더 커질 것입니다. 정말 놀랍지 않습니까?

에이전트 AI CPU라고 제대로 불릴 만한 것이 없을 수도 있습니다. 특별한 기능 없이 단지 다른 기능 조합을 가졌을 뿐일 수 있지만, AMD의 분석이 맞다면 사람들은 이러한 에이전트 샌드박스(agentic sandboxes)를 위해 많은 CPU를 구매할 것이 확실합니다.