ASUS XA NB3I-E12 리뷰: 거대한 8x NVIDIA B300 GPU 서버

ASUS XA NB3I-E12는 거대한 서버입니다. 9U의 랙 공간을 차지하는 이 서버는 최첨단 NVIDIA Blackwell Ultra 서브시스템과 함께 Intel Xeon 프로세서, 그리고 6.4Tbps 이상의 네트워킹 성능을 제공하며, 데이터 센터 랙에 비교적 쉽게 통합할 수 있는 폼 팩터(Form Factor)를 갖추고 있습니다. 오늘 우리는 이 NVIDIA HGX B300 8-GPU 플랫폼을 살펴보고, 공랭식 섀시(Air-cooled chassis)에서 얼마나 많은 것을 제공하는지, 그리고 이전 버전과 무엇이 다른지 확인해 보겠습니다.

ASUS XA NB3I-E12 하드웨어 개요 – 전면 구성 요소

시스템 자체는 9U 크기로 매우 거대합니다. 이 뷰를 보면 높이의 절반 이상이 NVIDIA B300 GPU의 히트싱크(Heatsinks)에 할당되어 있음을 알 수 있습니다. AI 서버에는 수랭식(Liquid-cooling)이 매우 합리적이지만, 공랭식 GPU를 사용하면 기존의 랙과 데이터 센터에 시스템을 맞출 수 있습니다. 이것이 바로 ASUS가 추구하는 방향입니다.

다음은 NVIDIA HGX B200과 HGX B300 플랫폼 사이의 주요 변화 중 하나입니다. 즉, HGX B300 8 GPU 베이스보드(Baseboard)에는 8개의 NVIDIA ConnectX-8 NIC가 온보드(Onboard)되어 있습니다. 각 NIC는 각 GPU에 전용으로 할당된 800Gbps XDR 인피니밴드(Infiniband) 링크를 제공하며, 따라서 클러스터 내의 다른 GPU와 통신할 수 있는 방법이 필요합니다. NVIDIA HGX B200 및 이전 시스템들이 그러했던 것과 달리, 새로운 시스템에서는

이 시점에서 눈치채셨을 수도 있습니다. 만약 그렇지 않다면, 더 자세히 살펴보겠습니다. 제가 ASUS에 이 부분에 대해 문의했는데, 포트 레이블은 올바르게 되어 있으며 1, 2, 3, 4, 5, 6, 7, 8로 번호가 매겨지지 않도록 되어 있다고 합니다. 대신, 공식적인 랙 배선(Rack wiring)은 2, 3, 1, 4, 7, 6, 8, 5 순서여야 합니다. 업계에서 자주 듣는 이야기는 아니지만, 흥미로운 사실을 알게 되었습니다.

OSFP 케이지(Cages)의 반대쪽 끝이 NVIDIA HGX B300 베이스보드인지 궁금하실 수도 있습니다. 그렇지 않습니다. 대신, 이 모듈들은 케이블을 통해 베이스보드에 연결됩니다.

케이지 주변에는 상당한 크기의 히트싱크가 있으며, NIC에 케이블로 연결되어 있습니다.

해당 NVIDIA ConnectX-8 NIC(네트워크 인터페이스 카드)들은 진정한 의미의 East-West GPU 간 트래픽(GPU-to-GPU traffic)을 위한 것입니다. 물론, 스토리지 연결과 같은 North-South 네트워크 사용 사례를 커버하기 위해 더 많은 NIC를 추가할 수 있는 기회도 있습니다. 왼쪽에는 NVIDIA BlueField-3 SuperNIC (DPU)와 같은 카드를 위한 PCIe 슬롯이 있습니다.

중앙에는 스토리지와 I/O가 위치합니다.

중앙 섹션에는 U.2 NVMe 드라이브 베이가 있습니다. 이러한 유형의 시스템에서는 일반적으로 각 GPU마다 개별 NVMe SSD가 할당됩니다.

하단에는 IPMI 관리 포트와 매우 작은 버튼들이 있습니다. 이 시스템은 거대하지만, 전원 버튼은 작습니다.

BMC의 온보드 GPU를 통한 VGA 포트도 있습니다. 그다음으로는 Q-CODE MSG가 있습니다. 이는 ASUS가 수년 동안 자사 서버에 적용해 온 깔끔한 기능입니다. 이 디스플레이는 POST 코드를 보여줍니다. 별로 흥미롭지 않아 보일 수도 있지만, 예전에 2U 4-노드 ASUS 서버 랙을 운영했을 때 이 디스플레이 덕분에 어떤 서버가 부팅되지 않았는지 빠르게 확인할 수 있었습니다.

오른쪽에는 추가 PCIe 슬롯이 있지만, 확장 슬롯 중 하나에는 Intel X710-AT2 NIC를 통해 USB 포트와 듀얼 10GbE NIC 포트가 함께 구성되어 있습니다.

양쪽에 있는 커다란 레버가 보인다면, 그것은 실제로 아주 유용한 기능입니다. 전면 섹션 전체를 샤시(chassis)에서 분리하여 유지보수할 수 있습니다.

샤시 내부의 빈 공간은 다음과 같이 생겼습니다. CPU 메인보드 트레이와의 연결부를 볼 수 있으며, CPU, 메모리, NIC 및 스토리지를 냉각하기 위한 팬들도 확인할 수 있습니다.

이것은 상당히 큰 어셈블리(assembly)이기 때문에, 어셈블리가 미끄러지듯 움직일 수 있도록 샤시 내부에 레일이 설치되어 있습니다.

이 상단을 살펴보면, PCIe 슬롯 양옆으로 배치된 커다란 SSD 케이지를 볼 수 있습니다.

이곳은 왼쪽 측면입니다.

이곳은 오른쪽 측면입니다. 이것들을 당겨서 빼내면 시스템 내의 PCIe 카드를 교체하기가 더 쉬워지며, 이는 ASUS의 모듈형 방식(modular approach)의 일부입니다.

이것은 전면 어셈블리의 후면 모습입니다.

슬라이드 방식으로 삽입 및 추출되도록 설계되었기 때문에, 이 보드가 CPU 트레이(CPU tray)에 연결될 수 있도록 고밀도 커넥터(high-density connectors)가 장착되어 있습니다.

그럼 이제 CPU 트레이(CPU tray)로 넘어가 보겠습니다.