Nvidia의 하이퍼스케일(hyperscale) 및 고성능 컴퓨팅(high-performance computing) 부사장이며 CUDA의 발명가인 Ian Buck은 회사가 “...수십만 대의 Grace 단독 서버를 출하했다고 말할 수 있습니다”라고 밝혔습니다. 지난 5월, Nvidia는 총 250만 개 이상의 Grace CPU를 출하했다고 공개했으며, 지난 2월에는 Meta와 단독 Grace 서버를 배포하기 위한 파트너십을 발표한 바 있습니다. 그러나 Buck의 발언은 Nvidia가 다른 플레이어들이 지배하는 시장에서 경쟁하려고 시도함에 따라, 배포 규모가 훨씬 더 클 수 있음을 시사합니다.

TH Premium으로 더 깊이 알아보기: CPU

A hand holding the Ryzen 7 9850X3D.

(이미지 출처: Tom's Hardware)

• DLSS와 함께하는 CPU 스케일링 (CPU scaling with DLSS)
• 정상으로 향하는 Ryzen: AMD가 게이밍 CPU 시장에서 혁신한 방법 (Ryzen to the top: How AMD innovated in the gaming CPU market)
• ARM이 PC 시장에 진입하는 방식 (How ARM is working its way into PCs)
• AMD CES 2026 게이밍 트렌드 기자 Q&A 라운드테이블 녹취록 (AMD CES 2026 gaming trends press Q&A roundtable transcript)

흥미로운 발언이지만, 놀라운 일은 아닙니다. AI 추론 (Inference)을 위한 전례 없는 데이터 센터 구축 기간 동안 GPU 수요가 급증하면서 Nvidia는 실리콘밸리의 지배적인 세력이 되었습니다. 그러나 올해 초 정점을 찍은 이후, 투자자들이 Intel과 같은 CPU 제조사들을 지지함에 따라 Nvidia의 시가총액 중 약 1조 달러가 증발했습니다. 진화하는 에이전틱 AI (Agentic AI) 워크로드 (Workloads)가 하드웨어 균형을 변화시켜, CPU당 최대 8개의 GPU를 사용하던 방식에서 일부 사례의 경우 1대 1 비율로 이동하고 있습니다.

Nvidia는 이러한 유형의 워크로드를 위해 특별히 설계된 새로운 Vera CPU를 통해 그 흐름에 올라타고자 합니다. 하지만 최근 에이전트 (Agents)의 부상 이전에도, Nvidia는 데이터 집약적인 워크로드에 대한 자사 CPU 수요를 확인했다고 밝혔습니다. Buck은 “[Grace를 사용하여] 웹 서버를 운영하는 것이 아니었습니다... 또는 클라우드에서 사용하는 방식인 코어당 저렴한 비용을 목적으로 사용되는 것도 아닙니다”라고 말했습니다. “그것들은 데이터 처리와 같은 백엔드 (Backend)의 데이터 중심 작업들을 위해 배치되었습니다.”

Grace는 Nvidia가 데이터 센터 CPU 시장으로 진입하기 위한 진입로를 의미합니다. Grace는 72개의 표준 Arm Neoverse V2 코어를 사용하지만, Nvidia의 Scalable Coherency Fabric (SCF)을 통해 차별화됩니다. Vera는 업데이트된 SCF를 사용하며, Nvidia의 첫 번째 커스텀 코어 설계인 Olympus를 특징으로 합니다. Grace가 문을 살짝 열었다면, Vera는 AMD 및 Intel에 맞서 시장으로 본격적으로 진입하는 Nvidia의 거대한 등장을 상징합니다.

AMD가 이번 주 Zen 6 Venice CPU를 출시할 것으로 예상됨에 따라 차세대 데이터 센터 CPU 전쟁이 가열되고 있는 가운데, Vera가 이 전투에서 최종적으로 어느 위치에 서게 되든 상관없이, 그 설계는 우리가 Intel 및 AMD로부터 보아온 것과는 크게 다릅니다. 가장 주목할 점은 Vera가 모놀리식 (Monolithic) 구조라는 것이며, 88개의 코어 모두를 단일 실리콘 조각 위에 배치합니다. AMD와 Intel은 수년 전 이 시점에 이미 모놀리식 다이 (Die)에서 벗어나 칩렛 (Chiplet) 방식으로 전환했으며, 이는 지연 시간 (Latency) 및 일관성 (Coherency) 문제라는 대가를 치르는 대신 매우 높은 코어 밀도를 가능하게 했습니다. Vera는 그 점에서 근본적으로 다르며, 단일 다이로 구축되었을 뿐만 아니라 패브릭 (Fabric)에 상당한 다이 면적을 할당합니다.

“우리가 128개의 코어를 갖지 못한 이유 중 하나는 다이 면적의 아주 많은 부분을 패브릭에 할당했기 때문입니다.”라고 Buck은 말했습니다. “그 CPU 내부에는 모든 코어가 충돌 없이 모든 캐시 및 모든 메모리 [컨트롤러]와 최대 속도로 통신할 수 있도록 할당된 3.4 TB/s의 대역폭 (Bandwidth)이 있습니다.”

명확히 하자면, Buck은 Vera의 코어 간 (Core-to-core) 대역폭인 3.4 TB/s를 언급하고 있는 것입니다. LPDDR5X 인터페이스를 통한 총 메모리 대역폭 (Aggregate memory bandwidth)은 최대 1.2 TB/s (코어당 14 GB/s)에 달합니다.

하지만 칩렛 기반 설계가 스레드당 성능 (Per-thread performance)에서 절충안을 택했듯이, Vera 또한 그 독특한 아키텍처로 인해 절충안을 택하게 될 가능성이 높습니다. 데이터 센터 워크로드의 대다수는 여전히 하이퍼스케일러 (Hyperscalers)들이 구축해 온 '레거시 (Legacy)' 작업들이며, AI 인프라에 대한 수요가 끝이 없어 보임에도 불구하고 향후 몇 년 동안은 이 상황이 변할 가능성이 낮습니다.

Buck은 이러한 트레이드오프 (trade-off)를 인지하며 다음과 같이 질문합니다. “Intel과 다른 기업들이 풍부한 패브릭 (fabrics)을 구축할 수 있을까요? 그들이 이를 수행하고 LP 메모리 (LP memory)까지 전체를 연결할 수 있는 IP와 생태계 (ecosystem)를 보유하고 있을까요? 그들은 언제 그것을 할 것인지 말해줘야 합니다… 하지만 그 트레이드오프 (trade-off)는 레거시 (legacy) 워크로드의 희생을 대가로 할 것입니다.” 올해 초 3월 GTC에서 Buck은 더욱 명확하게 밝혔습니다. 당시 기자 회견에서 그는 “세상은 단 하나의 CPU SKU (Stock Keeping Unit)로 서비스되지 않을 것이며, 그것은 우리의 의도도 아닙니다”라고 말했습니다.

그럼에도 불구하고, Nvidia가 뉴욕 증권 거래소(New York Stock Exchange)에 떠도는 헤드라인 이상의 데이터 센터 CPU에 대한 야망을 가지고 있음은 분명합니다. Nvidia는 CPU가 자사에 $200 billion 규모의 TAM (Total Addressable Market, 총 가용 시장) 기회를 제공한다고 말하는데, 이는 2030년까지 TAM을 약 $120 billion으로 보는 업계의 나머지 전망(최근 추정치는 $170 billion까지 상승함)과 비교하면 상당히 낙관적인 예측입니다. 그리고 에이전틱 AI (agentic AI)가 이 시장을 확장하고 있으며, Morgan Stanley는 지난 4월 에이전트 (agents)가 데이터 센터 CPU 시장에 최대 $60 billion을 추가할 수 있다고 추정했습니다.

Vera는 Rubin GPU, ConnectX-9 NIC (Network Interface Card), SpectrumX Ethernet 스위치, 그리고 Vera Rubin NVL72 랙 (rack)을 구축하는 데 들어가는 다양한 구성 요소들을 포함한 Nvidia의 차세대 AI 인프라와 함께 본격적인 생산 단계에 있습니다. 회사는 하나의 랙 (rack)을 구성하는 데 약 130만 개의 구성 요소가 들어가며, 이를 구축하기 위해 전 세계적으로 300개 이상의 파트너 목록을 보유하고 있다고 밝혔습니다. 지난주 Nvidia 본사를 방문했을 때, 우리는 OpenAI의 워크로드 (workloads)를 실행 중인 Vera Rubin NVL72 랙 (rack)을 실제로 확인했습니다.