Nvidia가 수십만 대의 Grace 단독 서버를 출하했습니다. CPU 중심의 전환은 하드웨어 균형을 변화시키는 에이전틱 AI (Agentic AI) 워크로드를 겨냥합니다.

VP Ian Buck는 Nvidia가 수십만 대의 Grace 단독 서버를 출하했다고 밝혔습니다. 이 GPU 거물은 에이전틱 AI (Agentic AI) 워크로드가 CPU 대 GPU 비율을 1:1로 이동시킴에 따라 메시징의 중심을 전환하고 있습니다.

주요 사실

• Nvidia가 수십만 대의 Grace 단독 서버를 출하했습니다.
• 5월 공개 자료에 따르면, 총 250만 개 이상의 Grace CPU가 출하되었습니다.
• Grace는 SCF 패브릭(fabric)을 갖춘 72개의 Arm Neoverse V2 코어를 사용합니다.
• Vera는 3.4 TB/s 대역폭을 가진 88개의 모놀리식(monolithic) 코어를 특징으로 합니다.
• 에이전틱 AI (Agentic AI)는 CPU 대 GPU 비율을 1:1로 이동시킵니다.

Nvidia는 자신들이 CPU 기업이기도 하다는 점을 알리고 싶어 합니다. 하이퍼스케일 및 고성능 컴퓨팅(HPC) 부문 부사장(VP)이자 CUDA의 발명가인 Ian Buck는 [Tom's Hardware에 따르면] 회사가 "...Grace 단독 서버를 수십만 대 정도 출하했습니다"라고 말했습니다. 지난 5월, Nvidia는 총 250만 개 이상의 Grace CPU를 출하했다고 공개했으며, 지난 2월 Meta와 단독 Grace 서버를 배포하기 위한 파트너십을 발표했습니다. Buck의 발언은 Nvidia가 데이터 센터 CPU 시장에서 Intel 및 AMD와 경쟁함에 따라 훨씬 더 큰 규모임을 시사합니다.

Grace는 Nvidia의 Scalable Coherency Fabric (SCF)으로 차별화된 72개의 표준 Arm Neoverse V2 코어를 사용합니다. Buck는 이 CPU들이 저렴한 웹 서버가 아니라 "데이터 처리와 같은 데이터 집약적인 백엔드 작업을 위해 배포되고 있다"고 말했습니다. 이는 Grace를 Nvidia의 차세대 Vera CPU를 위한 진입로로 포지셔닝하며, Vera는 Nvidia의 첫 번째 커스텀 코어 설계인 Olympus와 3.4 TB/s 패브릭 대역폭을 가진 88코어 모놀리식 다이(die)를 특징으로 합니다.

핵심 요약

• Nvidia가 수십만 대의 Grace 단독 서버를 출하했습니다.
• CPU 중심의 전환은 하드웨어 균형을 변화시키는 에이전틱 AI (Agentic AI) 워크로드를 겨냥합니다.

에이전틱 AI (Agentic AI)가 하드웨어 균형을 재편하다

진화하는 에이전틱 AI (Agentic AI) 워크로드는 하드웨어 균형을 변화시켜, CPU당 최대 8개의 GPU를 사용하던 방식에서 일부 사례의 경우 1:1 비율로 이동하게 만들었습니다. 이러한 추세로 인해 투자자들이 Intel과 같은 CPU 제조사들을 지지하면서, Nvidia의 시가총액은 올해 초 정점 이후 약 1조 달러가 증발했습니다. 에이전틱 워크로드를 위해 특별히 설계된 Nvidia의 Vera CPU는 그 흐름에 올라타는 것을 목표로 합니다.

Vera의 모놀리식 (Monolithic) 설계는 코어 밀도를 위해 지연 시간 (Latency)과 일관성 (Coherency)을 희생하는 Intel 및 AMD의 칩렛 (Chiplet) 방식과 극명한 대조를 이룹니다. Buck은 "우리가 128개의 코어를 갖지 못한 이유 중 하나는 다이 영역 (Die area)의 아주 많은 부분을 패브릭 (Fabric)에 할당했기 때문입니다"라고 말했습니다. 3.4 TB/s의 내부 대역폭은 모든 코어가 효율적으로 통신할 수 있게 하며, 이는 데이터 집약적인 에이전틱 AI 작업을 위해 최적화된 설계 선택입니다.

경쟁 구도의 심화

AMD는 이번 주에 Zen 6 Venice CPU를 출시하여 경쟁을 심화시킬 것으로 예상됩니다. 한편, 최근 보고에 따르면 Nvidia의 Vera Rubin NVL72 랙 시스템은 2028년으로 지연되었습니다. 이 회사의 CPU 추진은 더 광범위한 AI 인프라 구축 과정 중에 이루어지고 있으며, 이전에 보고된 바와 같이 5대 기술 거대 기업(Hyperscaler)의 부외 부채 (Off-balance-sheet debt)는 1.65조 달러에 달합니다.

An Nvidia Vera CPU

관건은 Nvidia의 모놀리식 베팅이 Intel 및 AMD의 칩렛 생태계를 상대로 성과를 거둘 수 있느냐 하는 것입니다. Grace가 문을 살짝 열었다면, Vera는 Nvidia의 본격적인 등장을 의미합니다.

관전 포인트

이번 주 AMD의 Zen 6 Venice 출시와 Nvidia의 Vera Rubin NVL72 인도 일정, 특히 단독 Grace 서버의 기업 채택이 수십만 대 규모를 넘어 가속화될지 여부를 주목해야 합니다.

Nvidia Vera CPU

출처: tomshardware.com

(gn_gpu_cluster에 2024년 7월 22일 업데이트됨)

한편, Nvidia와 CoreWeave는 Vera Rubin NVL72의 최초 측정 성능 통계를 공개하며, 150 MW에서 초당 80만 토큰(tokens per second)을 달성했다고 주장했습니다. 이는 동일한 전력 범위(power envelope)에서 Blackwell의 GB200 대비 10배 높은 토큰 처리량 향상입니다 [per Wccftech]. 이 시스템은 또한 메가와트당 10배 더 많은 토큰을 제공하여, Vera를 에이전틱 AI 추론(agentic AI inference) 분야의 전력 효율성 리더로 자리매김하게 합니다.

원래 게재된 곳: gentic.news