AMD, Instinct MI455X AI 가속기 공개 — CDNA 5 및 Helios 랙 스케일 아키텍처를 결합하여 데이터 센터에서 - Insights | Molayo

이번 주 AMD의 Advancing AI 이벤트에서, 회사는 곧 출시될 MI455X GPU와 Helios 랙 스케일 아키텍처에 대한 더 자세한 내용을 공개했습니다. 이 아키텍처는 72개의 GPU를 하나의 일관된 가속기로 결합하며, 이는 AMD가 지금까지 구축한 것 중 가장 큰 시스템이자 Blackwell 및 Rubin 세대에서 사용되는 Nvidia의 NVL72 랙 스케일 (rack-scale) 설계에 진정으로 맞설 수 있는 첫 번째 제품입니다.

AMD는 MI455X를 "우리가 구축한 것 중 비약적으로 가장 진보된 AI 가속기"라고 부르고 있습니다. 우리가 확인한 바에 따르면, 이는 AI 컴퓨팅 경쟁에서 Nvidia의 압도적인 지배력에 맞서 AMD가 내놓은 칩 레벨 및 랙 스케일 (rack scale) 모두에서 가장 경쟁력 있는 제품입니다.

AMD Instinct MI455X GPU

(이미지 출처: AMD)

전체 MI455X GPU는 3,200억 개의 트랜지스터를 포함하는 거대한 칩이며, 첨단 패키징 (packaging) 기술을 사용하여 구축되었습니다. 네 개의 가속기 복합 다이 (Accelerator Complex Dies, XCDs)가 하이브리드 본딩 (hybrid bonding)을 사용하여 각 패브릭 및 캐시 다이 (Fabric and Cache Die, FCDs) 위에 쌓입니다. 결과적으로 두 개의 FCD는 각각 6개의 HBM4 스택, 두 개의 I/O 다이, 그리고 서로를 TSMC의 CoWoS-L 기술을 사용하여 연결합니다.

AMD Instinct MI455X GPU

(이미지 출처: AMD)

이 칩렛 (chiplet) 설계 덕분에 AMD는 전력과 성능 면에서 가장 이점이 큰 XCD에는 가장 진보된 TSMC 2N 게이트 올 어라운드 (gate-all-around, GAA) 공정 기술을 사용할 수 있는 한편, 가장 밀도 높은 공정 기술의 이점을 얻지 못하는 요소들을 포함하는 FCD 및 I/O 다이는 TSMC N3P 공정으로 제조합니다.

CDNA 5는 CDNA 아키텍처의 형태에 있어 큰 변화를 의미합니다. AMD는 이제 CDNA 5 가속기 복합 다이 (Accelerator Complex Die)의 기본 빌딩 블록을 "연산 유닛 (Compute Unit)" 대신 "워크 그룹 프로세서 (Work Group Processor, WGP)"라고 부르지만, 실제로는 나머지 가속 복합 다이 (XCD)의 기본 레이아웃은 대체로 유사합니다.

AMD MI455X GPU

(이미지 출처: AMD)

MI455X의 WGP 수는 MI355X와 동일한 256개입니다. 칩의 근본적인 연산 자원 수에는 변화가 없기 때문에, CDNA 5 MI455X가 큰 성능 향상을 제공하려면 WGP당 처리량 (per-WGP throughput)이 MI355X보다 훨씬 더 높아야 합니다.

이번 세대의 다른 많은 변화 중에서도, CDNA 5는 Instinct GPU의 프로그래밍 모델 (programming model)에 있어 중대한 변화를 나타냅니다. 각 워크 그룹 프로세서가 처리하는 워크 아이템 (work items) 또는 스레드 (threads)의 그룹인 웨이브프론트 (wavefront)의 너비가 기존 64에서 32로 변경되었으며, AMD는 이러한 선택이 명령어 지연 시간 (instruction latency), 분기 분산 페널티 (branch divergence penalties), 그리고 레지스터 압박 (register pressure)을 개선한다고 밝혔습니다. 또한 32-wide 방식이 다양한 텐서 타일 (tensor tile) 크기와의 상호 작용 및 컴퓨팅 커널 (compute kernels)을 하드웨어에 매핑하는 데 있어 아키텍처의 유연성을 높여준다고 설명합니다. RDNA GPU는 도입 시점부터 32의 네이티브 웨이브프론트 크기를 사용해 왔습니다.

AMD CDNA 5

(이미지 출처: AMD)

CDNA 5는 CDNA 4 대비 연산 성능을 크게 향상시켜, 이론적으로 칩에서 가능한 피크 FLOPS (peak FLOPS)를 두 배, 경우에 따라 네 배까지 높입니다. 특히 MI455X는 추론 (inference)에 흔히 사용되는 저정밀도 부동 소수점 형식 (lower-precision floating-point formats)에서 큰 이점을 얻습니다. OCP MXFP8 및 MXFP4 형식은 이론적으로 CDNA 4 MI355X보다 최대 4배 더 빠릅니다.

다음은 이전 세대인 MI355X 및 Nvidia의 Rubin GPU와 비교한 MI455X의 이론적 피크 FLOPS 개요입니다.

<table><caption>AMD Instinct MI455X 최대 FLOPS</caption><tbody><tr><td class="firstcol empty"></td><td>Instinct MI355X</td><td>Instinct MI455X</td><td>Nvidia Rubin</td></tr><tr><td class="firstcol ">NVFP4 (dense)</td>----35 PF</td></tr><tr><td class="firstcol ">OCP MXFP4</td>10 PF40.26 PF--</td></tr><tr><td class="firstcol ">OCP MXFP6</td>10 PF20.13 PF17.5 PF</td></tr><tr><td class="firstcol ">OCP MXFP8</td>10 PF20.13 PF17.5 PF</td></tr><tr><td class="firstcol ">Matrix FP16/BF16</td>2.5 PF5.03 PF4 PF</td></tr><tr><td class="firstcol ">Vector FP16</td>157.3 TF315 TF--</td></tr><tr><td class="firstcol ">Matrix FP32</td>157.3 TF315 TF400 TF</td></tr><tr><td class="firstcol ">Vector FP32</td>157.3 TF315 TF130 TF</td></tr></tbody></table>

최소한 이론적인 수치만으로도 MI455X는 현재 Nvidia가 공개한 Rubin 대비 최고의 성능을 제공하며, 마침내 AMD에게 Nvidia의 NVL72 랙 스케일 디자인과 동일한 72개 GPU 코히런트 도메인을 제공하는 Helios 랙 스케일 아키텍처와 결합되면서, AMD는 AI 데이터 센터 용량 경쟁에서 그 어느 때보다도 경쟁력을 갖추게 되었습니다. 그리고 이는 실제 고객 확보로 이어지고 있으며, AMD는 이번 주 Microsoft 및 Anthropic과 중요한 계약을 발표했습니다.

하지만 이러한 직접적인 비교를 통한 피크 FLOPS (Floating Point Operations Per Second) 수치만으로 너무 많은 결론을 내리는 것은 주의해야 합니다. AMD 스스로도 세션 중 하나에서 인정했듯이, 실제 환경에서 이러한 GPU의 실질적인 성능은 실제로는 훨씬 낮을 가능성이 크기 때문입니다. 지속적인 과제는 소프트웨어와 애플리케이션을 최적화하여 가능한 한 해당 이론적 성능에 최대한 도달하도록 만드는 것이 될 것입니다.

일반적인 연산 성능 향상 외에도, AMD는 CDNA 5 초월 함수 유닛 (Transcendental Unit)을 통한 개선된 초월 함수 수학 (transcendental math) 성능을 홍보하고 있습니다. 이는 소프트맥스 (softmax), 신경망 활성화 함수 (neural network activations), 어텐션 (attention)과 같은 필수적인 AI 기능의 성능에 광범위한 영향을 미칩니다. AMD는 CDNA 5 초월 함수 유닛이 CDNA 4 대비 처리량 (throughput)을 두 배로 높였다고 밝혔습니다. 또한 초월 함수 유닛은 명시적인 tanh 명령어를 지원하도록 추가되었으며, 이는 신경망 내 은닉층 (hidden layers)의 특정 연산에 유용합니다.

AMD CDNA 5 memory hierarchy

(이미지 출처: AMD)

AMD는 또한 MI455X의 캐시 및 메모리 계층 구조를 대폭 수정했습니다. CDNA 4의 대용량 인피니티 캐시 (Infinity Cache)는 폐기되었으며, 대신 각 패브릭 컴퓨트 다이 (Fabric Compute Die, FCD)에 더 작지만 대역폭이 더 높은 공유 L2 캐시가 도입되었습니다. MI355X가 256MB 인피니티 캐시를 기반으로 단 32MB를 가졌던 것과 비교하면, 각 FCD는 96MB의 L2 슬라이스를 가져 총 192MB를 제공합니다. AMD는 이 캐시가 CDNA 4 인피니티 캐시 대비 FCD당 1.5배 더 높은 대역폭을 제공하므로, 총합계 측면에서 MI455X는 MI355X보다 3배 더 높은 L2 대역폭을 갖는다고 설명합니다.

WGP 내에서는 더 크고, 빠르며, 더 유연한 캐시를 사용할 수 있습니다. 로컬 데이터 스토어 (LDS) 또는 스크래치패드 메모리 (scratchpad memory)는 CDNA 4 대비 두 배로 커진 320KB가 되었으며, 칩 전체에 걸쳐 총 96MB의 LDS가 존재하여 이는 MI355X의 가장 큰 CDNA 4 구현체보다 두 배에 달하는 수치입니다. AMD는 LDS SRAM이 이전 세대보다 클록당 더 높은 읽기 및 쓰기 대역폭을 제공한다고 밝혔으나, 구체적인 수치는 제공하지 않았습니다.

결정적으로, MI455X의 메인 메모리 아키텍처는 이번 세대에서 HBM4로 전환되었습니다. AMD는 FCD당 6개의 HBM4 스택을 사용하여 칩당 총 12개를 사용하며, GPU당 432GB의 메모리 용량과 23.3 TB/s의 메모리 대역폭 (Memory Bandwidth)을 제공합니다. 높은 메모리 용량과 대역폭은 계속해서 확장되는 AI 모델 가중치 (Weights)와 KV 캐시 (KV caches)를 최적의 성능을 위해 GPU에 가깝게 유지하는 데 있어 모두 매우 중요합니다.

이러한 HBM 구현은 개별 사양 측면에서 Nvidia의 Rubin에 대항하는 MI455X의 가장 강력한 장점 중 하나입니다. 이는 이번 주 Nvidia가 상세 정보를 공개한 첫 번째 Rubin GPU보다 훨씬 높은 용량과 약간 더 높은 대역폭을 모두 제공합니다. Rubin의 초기 구성에서는 최대 22 TB/s의 대역폭과 288GB의 HBM4만을 제공합니다.

랙 스케일 (Rack scale)에서 MI455X의 더 높은 HBM 용량은 72개의 GPU에 걸쳐 총 31.1 TB의 HBM을 합산하며, 이는 Vera Rubin의 총 용량인 20.7 TB보다 무려 50%나 더 많은 수치입니다. 그리고 Helios 랙 스케일 아키텍처는 이 모든 GPU 메모리를 단일한 일관된 도메인 (Coherent domain)으로 결합하는 AMD의 첫 번째 시도입니다. AI 추론 (Inference) 성능은 데이터 지역성 (Data locality)과 메모리 대역폭 모두에 의해 좌우되므로, 이와 관련한 AMD의 이점은 분명 많은 관심을 끌 것입니다.

AMD CDNA 5

AMD

AMD CDNA 5

AMD

칩 전반에 걸친 효율적인 데이터 이동은 MI455X의 전력 소비를 줄이고 성능을 향상시키기 위한 핵심 고려 사항입니다.

CDNA 5 텐서 데이터 무버 (Tensor Data Mover, TDM)는 이전 CDNA 세대의 데이터 이동 엔진을 개선한 버전입니다. Nvidia의 텐서 메모리 액셀러레이터 (Tensor Memory Accelerator)와 마찬가지로, TDM은 특정 텐서 전용 메모리 주소의 생성을 가속화하고 셰이더 엔진 (Shader engines)을 거치지 않고 메모리에서 관련 데이터를 이동시키는 것을 용이하게 합니다. CDNA 5 세대에서 TDM은 중간 캐시 단계에 데이터를 스테이징 (Staging)하지 않고 DRAM에서 WGP LDS 캐시로 데이터를 직접 이동시키는 능력을 갖추게 되었습니다.

AMD는 또한 AI 워크로드(Workloads)가 여러 WGP에 걸쳐 동시에 동일한 가중치(Weights)와 활성화(Activations)를 처리해야 하는 경우가 많다는 점을 활용하기 위해, WGP에 대한 메모리 읽기용 멀티캐스트(Multicast) 지원을 추가했습니다. 멀티캐스트를 사용하면 단일 메모리 읽기가 여러 WGP로 증폭될 수 있어, 유효 메모리 대역폭(Memory Bandwidth)을 높이고 버스(Bus) 상의 중복 트래픽을 줄이며 전력 소비를 낮출 수 있습니다. Nvidia는 Hopper 아키텍처 이후 GPU에서 유사한 기능을 보유해 왔으나, 이번 세대에서 효율적인 데이터 이동(Data Movement)에 강력하게 집중하고 있는 AMD의 행보를 고려하면, 여기에 해당 기능의 변형이 추가된 것은 어쩌면 놀라운 일이 아닐지도 모릅니다.

종합해 보면, MI455X는 AMD의 Instinct 제품 중 지금까지 가장 매력적인 제품입니다. 이 제품은 엄청난 세대 간 성능 향상을 제공하며, 서류상으로는 Nvidia의 차기 Rubin GPU와 경쟁하거나 심지어 능가하는 피크 FLOPS(Peak FLOPS)를 보여줍니다. 또한 Rubin의 288GB 구성보다 1.5배 더 크고 약간 더 빠른 432GB의 대규모 HBM4 메모리 풀을 제공합니다.

Helios 랙 스케일(Rack-scale) 아키텍처 및 72개의 가속기로 구성된 스케일업(Scale-up) 도메인—Nvidia의 NVL72 랙 스케일 설계에 대한 AMD의 첫 번째 진정한 해답—과 결합하여, Nvidia와 AMD 모두 고객에게 차세대 제품을 인도하기 시작함에 따라 올해 하반기 AI 컴퓨팅 우위를 점하기 위한 경쟁이 본격적으로 뜨거워질 것으로 예상됩니다.