Nvidia는 약 12명의 기자단을 본사로 초청하여, 자사의 Vera CPU와 이 CPU가 Nvidia의 차세대 에이전틱 AI (Agentic AI) 플랫폼의 핵심인 Vera Rubin NVL72 랙 설계에 어떻게 통합되는지에 대해 더 자세히 알아볼 수 있는 시간을 가졌습니다. 그 과정의 일부로, 무대 위에서 분해된 트레이 형태나 무역 박람회의 깜빡이는 불빛 몇 개가 달린 랙이 아닌, (부분적으로) 실제 데이터 센터에서 실제 워크로드 (Workloads)를 실행하는 Vera Rubin의 실제 작동 모습을 확인했습니다. 그리고 우리는 Nvidia의 엔지니어링 슈퍼랩 (Engineering SuperLab)에서 해당 랙들이 작동하는 모습을 직접 볼 수 있었습니다.

이곳은 제대로 된 데이터 센터는 아니며, 적어도 최적화된 데이터 센터는 아닙니다. Nvidia는 엔지니어링 슈퍼랩이 엔지니어들을 위해 구축되었으며, 엔지니어들이 하드웨어를 실제로 작동시켜 보기 위해 랙을 빠르게 설치하고 교체할 수 있도록 설계되었다고 명확히 밝혔습니다. 현장에서는 약간의 불안함이 느껴지기도 했습니다. 만약 Nvidia가 제대로 된 데이터 센터를 구축하고 있었다면 이런 모습은 아니었을 것입니다. 이 실험실은 엔지니어들이 상주하는 곳이며, 만약 여러분이 많은 하드웨어를 가지고 노는 엔지니어 그룹 주변에 있어 본 적이 있다면, 상황이 제대로 된 데이터 센터에서 기대하는 것만큼 항상 깔끔하지는 않다는 것을 알 것입니다.

NVL72 Vera Rubin Rack inside Engineering Lab

(이미지 출처: Tom's Hardware)

Nvidia가 우리에게 보여준 슈퍼랩은 Nvidia 본사 인근에 위치한 특징 없는 네 곳의 장소 중 한 곳입니다. 이 장소들은 지금까지 공개되지 않았습니다. 이 네 곳의 장소는 지난 2년 동안 각각 등장했으며, Nvidia가 새로운 하드웨어를 출시할 때 테스트할 수 있는 공간을 제공해 왔습니다.

여기서 다루는 하드웨어는 Vera Rubin NVL72 랙이지만, 우리는 몇 가지 다른 시연도 보았습니다. 가장 눈에 띄는 것은 Nvidia가 NVL72 랙에 800VDC 전원을 공급하는 사이드카(sidecar)를 보여준 것입니다. 또한 Nvidia는 몇 가지 부품을 펼쳐 놓아 Vera Rubin 트레이(tray)의 조립 과정을 시연했는데, 이는 다양한 리텐션 암(retention arms)과 함께 단 몇 분 만에 결합됩니다.

이것은 우리의 투어 뒷이야기이며, 엔지니어링 슈퍼랩(Engineering SuperLab)이 어떻게 구성되어 있는지, 그리고 데이터 센터의 보기 좋은 모습들을 보여줍니다. 우리는 Vera CPU에 대한 전체적인 분석과 이것이 Nvidia의 더 큰 AI 인프라에 어떻게 통합되는지에 대해 발표했으며, 여기에는 플랫폼의 기술적 세부 사항이 포함되어 있습니다. 여기서는 주로 무대 뒤의 모습을 살짝 보여드리고자 합니다.

실제로 작동 중인 Nvidia Vera Rubin NVL72

An array of NVL72 Trays marked

(이미지 출처: Tom's Hardware)

Vera Rubin은 본격적인 생산 단계에 있으며, 우리는 데이터 센터에 랙이 설치되는 짧은 영상들을 보았습니다. 하지만 이것은 실제 워크로드(workload)를 실행하는 랙을 실제로 직접 확인하는 우리의 첫 번째 모습입니다. Nvidia는 실제로 이곳의 랙들이 OpenAI를 위한 일부 워크로드를 실행하고 있다고 밝혔으며, 위 이미지에서 볼 수 있듯이 일부 트레이는 OpenAI의 GPT-Rosalind 모델을 실행하고 있는 것으로 보입니다.

여기 각 트레이(tray)의 전면을 보면 듀얼 ConnectX-9 NIC 포트와 중앙의 Bluefield-4 DPU를 볼 수 있습니다. 후면에는 Nvidia의 NVLink 스파인(spine)이 있는데, 이는 다양한 트레이들을 서로 연결하는 날카로운 핀들이 있는 거의 중세 시대 장치처럼 보이는 구조물입니다. 여기에는 총 길이가 2마일(약 3.2km)이 넘는 5,000개의 구리 케이블이 수용되어 있으며, Nvidia의 6세대 NVLink를 통해 GPU당 최대 3.6 TB/s의 대역폭과 랙당 260 TB/s의 스케일업 (scale-up) 대역폭을 제공합니다.

A shot of the Nvidia NVL72 Racks

Tom's Hardware

A shot of the Nvidia NVL72 Racks, showing the rear

Tom's Hardware

The NVL72 racks together in a row

Tom's Hardware

The networking interfaces of the NVL72 rack

Tom's Hardware

각 Vera Rubin NVL72 랙은 18개의 컴퓨트 트레이(compute trays)와 9개의 NVLink 스위치 트레이(switch trays)를 포함하며, 후자의 스위치 트레이는 다양한 트레이 간의 통신을 조율하여 하나의 거대하고 통합된 시스템으로 작동하게 합니다. Nvidia는 우리에게 72개의 Rubin GPU와 36개의 Vera CPU를 갖춘 단일 참조 랙인 MGX NVL 설계를 시연했습니다. Nvidia의 MGX ETL 설계는 최대 256개의 GPU를 특징으로 하는 스케일아웃 (scale-out) 시스템을 위해 NVLink 스파인을 Spectrum-X Ethernet 스파인 또는 직접 칩 간(chip-to-chip) 스파인으로 대체합니다.

하지만 핵심적인 비즈니스 엔드(business-end)는 랙의 후면에 있습니다. 후면은 NVLink 스파인 덕분에 케이블이 정리되어 있지만, 전력 및 냉각재 공급은 여전히 주요 요소입니다. 아래 이미지에서 볼 수 있는 배관과 케이블의 조직적인 혼돈(organized chaos)은 데이터 센터에 수십 개 또는 수백 개의 랙을 세우는 것은 말할 것도 없고, 단 하나의 랙을 구축하는 데에도 얼마나 많은 노력이 들어가는지를 보여줍니다.

A shot of the cooling infrastructure around the NVL72 Vera Rubin setup

Tom's Hardware

Two pipes of liquid cooling going to an NVL72 tray

Tom's Hardware

A shot of the cooling infrastructure beneath an NVL72 Vera Rubin tray.

Tom's Hardware

Nvidia의 이전 세대 GB200 및 GB300 NVL72 랙은 하이브리드 냉각 (hybrid cooling) 방식을 채택했으나, Vera Rubin 트레이는 전적으로 액체 냉각 (liquid cooled) 방식으로 이루어집니다. 팬이 전혀 없으며, Nvidia는 이것이 궁극적으로 훨씬 더 조용한 데이터 센터로 이어질 수 있다고 말합니다. 이곳 실험실의 상황은 그렇지 않았으며, 여전히 눈과 귀를 보호하는 장비가 필요했습니다. 데시벨 측정기 (decibel meter)를 가지고 있지 않았지만(제가 평소에 측정기를 들고 다닌다고 상상해 보세요), 제 추측으로는 내부 소음이 약 80에서 90 데시벨 사이였을 것입니다. 에어컨보다는 시끄럽지만 오토바이보다는 조용한 수준입니다. 이는 데이터 센터에서 상당히 전형적인 소음 수준입니다.

A show of the liquid-cooled portion of a disassembled Vera Rubin NVL72 tray

(이미지 출처: Tom's Hardware)

그럼에도 불구하고, Vera Rubin 트레이는 "건식 냉각 (dry cooling)"이라 불리는 프로세스를 통해 완전히 액체 냉각됩니다. 냉각수의 유입 온도 (inlet temperature)가 섭씨 45도 이하라고 가정할 때, Nvidia는 열교환기 (heat exchanger)만으로 전체 시스템을 냉각할 수 있다고 밝힙니다. 이것이 사실이라면, 냉각 방정식에서 비용이 많이 드는 (전력, 공간, 소음, 물 소비 및 실제 비용 측면에서) 칠러 (chillers)를 제거할 수 있을 것입니다.

거대한 배관이 상단으로 냉각수 (보통 부동액 또는 탈이온수 (deionized water))를 공급하며, 랙 하단에는 가열된 냉각수를 배출하기 위한 배출구가 있습니다. 그 과정에는 트레이가 냉각 시스템에 자동으로 연결될 수 있도록 하는 일련의 유입 연결부 (inlet connections)가 있어, 루프 (loop)의 시작과 끝에 있는 주요 연결부만 남겨둡니다. Nvidia는 배송 사양에 이르기까지 Open Compute Project (OCP)를 기반으로 Vera Rubin NVL72 랙의 모든 것을 표준화했습니다. 회사 측은 트럭이 도착한 시점부터 랙의 전원을 켤 때까지 단 47분밖에 걸리지 않는다고 말합니다.

차세대 AI 인프라를 위한 800VDC 전원

A shot of the NVL72 Vera Rubin Sidecar for modern power delivery

(이미지 출처: Tom's Hardware)

Nvidia는 또한 작동 중인 800VDC "사이드카 (sidecar)"를 보여주었습니다. 익숙하지 않은 분들을 위해 설명하자면, Nvidia(및 기타 AI 인프라 기업들)는 현대적인 데이터 센터를 위해 새로운 800VDC 전력 공급 시스템을 추진해 왔습니다. 이는 AC/DC 변환 효율 저하를 줄이고, 수천 암페어(amps)에 달하는 현재의 전류 범위로 진입하지 않으면서도 랙(rack)에 필요한 와트(wattage)를 공급하기 위함입니다.

단일 Vera Rubin NVL72 랙은 쉽게 200kW 이상을 소비할 수 있으며, 이는 데이터 센터의 전통적인 전력 인프라에 큰 도전 과제입니다. 현재의 Grace Blackwell 랙의 경우, 전원 선반(power shelves)이 시설로 들어오는 AC 전력(415V 또는 480V)을 랙 내부 배포를 위한 48V/54V 직류(Direct Current, DC)로 변환합니다. 여기서 문제는 매우 명확합니다. 전압(voltage)이 일정하고 와트(wattage)가 증가하면, 전류(current) 또한 증가해야 합니다. 그리고 더 많은 전류는 더 두꺼운 버스바(bus bars), 더 많은 변환 효율 저하, 그리고 전력 공급에 할당되는 더 많은 랙 공간을 의미합니다.

다시 말하지만, 800VDC가 제시하는 해결책은 매우 간단합니다. 와트(wattage)가 증가하고 전류(current)가 일정하게 유지된다면, 전압(voltage) 또한 증가해야 합니다. 핵심 아이디어는 그리드(grid)로부터 오는 AC 전력을 DC 전력으로 한 번 변환한 다음, 랙 내부에서 일련의 DC-to-DC 컨버터를 사용하는 것입니다. 이를 통해 더 밀도 높은 컴퓨팅(compute)과 더 나은 전력 효율을 구현할 수 있습니다.

Populated NVL72 800VDC power ports on the back of the sidecar rack

Tom's Hardware

NVL72 800VDC power ports on the back of the sidecar rack

Tom's Hardware

NVL72 800VDC power plugs hanging in the SuperLab room

Tom's Hardware

이 모든 것은 이 실험실에서 작동 중인 매우 흥미로운 전력 인프라를 보여주기 위한 설명입니다. Nvidia가 800VDC 인프라를 추진하는 첫 번째 기업도, 유일한 기업도 아니며, Google, Meta, Microsoft와 같은 기업들도 Mt. Diablo 규격과 같은 개방형 사이드카 설계에 기여해 왔습니다. 그럼에도 불구하고, 이러한 사이드카 중 하나가 실제로 작동하는 모습을 보는 것은 흥미로운 일입니다.

랙의 뒷면을 들여다본 적이 없다면, 위 갤러리에서 랙으로 전력을 공급하는 커다란 빨간색 커넥터들을 볼 수 있습니다. 또한 800VDC 사이드카(sidecar) 후면의 거대한 전원 케이블과 커넥터들도 확인할 수 있습니다.

Nvidia의 차세대 AI 인프라 배치

시설 전면에는 Nvidia가 차세대 AI 인프라의 모든 구성 요소를 배치해 두었습니다. 이곳에 있는 것 중 우리가 이전에 보지 못했던 것은 없지만, 보통은 전시회 디스플레이에 파묻혀 있거나 기조 연설(keynote) 중에 무대 위에서나 볼 수 있는 것들입니다.

Partially disassembled NVL72 Vera Rubin trays on a table.

(이미지 출처: Tom's Hardware)

첫 번째는 Vera Rubin NVL72 트레이 자체로, 위에서 GB300 트레이 옆에 놓여 있는 것을 볼 수 있습니다. 둘 다 DGX 설계로, Nvidia가 완전히 제작하고 통합했음을 의미하며, 조립 방식에서 얼마나 극명한 차이가 있는지 즉시 확인할 수 있습니다. Vera Rubin NVL72 트레이는 단 두 개의 케이블만을 특징으로 하며, 호스나 팬(fan)이 없습니다. 두 개의 슈퍼 칩(Super Chip) 보드가 위치한 후면에서, Nvidia는 보드를 몇 초 만에 밀어 넣거나 뺄 수 있게 해주는 리텐션 암(retention arm)을 시연했습니다.

NVL72 Vera Rubin tray retention arm

(이미지 출처: Tom's Hardware)

Vera Rubin 트레이는 훨씬 더 깔끔하지만, 공간도 더 효율적으로 사용합니다. GB300 설계에서는 트레이 중앙의 상당 부분을 차지했던 팬(fan)이 포함되어 있지 않습니다. Vera Rubin에서는 해당 팬들이 위에서 볼 수 있는 두꺼운 미드플레인(midplane)으로 대체되었으며, 이는 트레이 전면에 있는 두 개의 ConnectX-9 NIC와 Bluefield-4 DPU 사이의 통신 채널을 제공합니다.

Communication channel between two ConnectX9-NICs and Bluefield-4 DPU

(이미지 출처: Tom's Hardware)

Vera Rubin NVL72 컴퓨트 트레이 내부의 두 케이블 중 하나를 잡아주는 것은 버스바(busbar)로, 이는 트레이 내부의 다양한 칩들을 위한 전력 라우팅(power routing)을 담당합니다.

Vera Rubin NVL72 트레이가 Nvidia의 차세대 AI 하드웨어가 적용되는 유일한 사례는 아닙니다. Nvidia는 8개의 Vera 칩을 탑재한 CPU 전용 트레이도 선보였으며, 이는 랙(rack) 내에서 최대 256개의 칩을 제공할 수 있습니다. 이를 통해 우리는 칩 자체뿐만 아니라, 기존의 RDIMM과 유사한 밀도와 모듈성(modularity)을 제공하면서도 전력 비용은 훨씬 낮은 SOCAMM2 LPDDR5X 메모리 시스템도 더 자세히 살펴볼 수 있습니다.