Huawei Ascend SuperPOD의 디코딩 처리량(Decode Throughput)은 메모리 대역폭(Memory Bandwidth)과 샤딩(Sharding)으로 인해 4배에 달하는 학습(Training) 격차보다는 좁은, GB300 대비 1.3~1.7배 뒤처지는 것으로 추정됩니다.

분석가 @zephyr_z9에 따르면, Huawei의 Ascend SuperPOD는 Nvidia의 GB300보다 GPU당 디코딩 처리량이 약 1.3배에서 1.7배 낮습니다. 이 격차는 메모리 대역폭 제약과 샤딩 전략으로 인해 학습(Training) 시의 4:1 FLOPS 비율보다는 좁혀집니다.

주요 사실 (Key facts)

• 학습(Training) FLOPS 비율: 4:1 (Huawei 대 Nvidia)
• 메모리 대역폭(Memory Bandwidth) 비율: 2:1 (8TB/s 대 4TB/s)
• 디코딩 처리량(Decode Throughput) 격차: 1.3배에서 1.7배
• Huawei의 스케일업(Scale-up) 월드 사이즈는 공격적인 샤딩(Sharding)을 가능하게 함

@zephyr_z9가 X(구 트위터)에서 제공한 상세 기술 분석에 따르면, Huawei의 Ascend SuperPOD와 Nvidia의 GB300 사이의 성능 격차는 워크로드(Workload)에 따라 크게 달라집니다. 널리 인용되는 학습(Training) FLOPS의 4:1 교환 비율은 추론(Inference)에는 적용되지 않습니다.

메모리 대역폭 병목 현상 (Memory Bandwidth Bottleneck)

메모리 대역폭 기준으로 보면, [@zephyr_z9에 따르면] 비율은 2:1로 떨어지며, Huawei의 SuperPOD는 약 8 TB/s를 제공하는 반면 Nvidia는 4 TB/s를 제공합니다. 이러한 대역폭 우위는 메모리 대역폭이 주요 제약 사항인 자기회귀 디코딩(Autoregressive Decoding) 과정에서 발생하는 원시 연산(Raw Compute) 부족분을 부분적으로 보완합니다.

샤딩 전략의 이점 (Sharding Strategy Advantage)

Huawei의 거대한 스케일업(Scale-up) 월드 사이즈는 Nvidia가 더 작은 노드 구성으로는 따라올 수 없는 공격적인 샤딩(Sharding) 전략을 가능하게 합니다. 이러한 아키텍처적 유연성 덕분에 Ascend SuperPOD는 메모리 제한적(Memory-bound) 연산을 더 효율적으로 분산할 수 있으며, 이를 통해 디코딩 처리량 격차를 좁힐 수 있습니다.

실제 디코딩 성능 (Real-World Decode Performance)

분석가는 두 시스템 간의 GPU당 디코딩 처리량 (Decode Throughput) 차이가 1.3배에서 1.7배 범위 내에 있을 것으로 추정합니다 [@zephyr_z9]. 이는 4배에 달하는 훈련 (Training) FLOPS 격차가 시사하는 것보다 훨씬 적은 차이이며, 이로 인해 Ascend SuperPOD는 훈련 성능 수치가 암시하는 것보다 더 경쟁력 있는 추론 (Inference) 플랫폼이 됩니다. 정확한 수치는 모델 아키텍처 (Model Architecture), 배치 크기 (Batch Size), 그리고 샤딩 (Sharding) 구성에 따라 달라집니다.

추론 워크로드에 미치는 영향 (Implications for Inference Workloads)

추론이 주를 이루는 배포 환경(예: 챗봇, 코드 생성, 실시간 번역)의 경우, GB300 대비 Ascend SuperPOD의 1.3~1.7배 디코딩 처리량 격차는 공격적인 샤딩 (Sharding)을 결합할 때 특히 경쟁력 있는 지연 시간 (Latency)으로 워크로드의 상당 부분을 처리할 수 있음을 의미합니다. 4배의 훈련 격차는 모델 개발에 있어 여전히 상당한 불리함으로 남아 있지만, 추론 중심의 배포에서는 SuperPOD가 실행 가능한 대안이 될 수 있습니다.

관전 포인트 (What to watch)

Microsoft Azure Unveils World’s First NVIDIA GB300 NVL72 Supercomputing ...

대규모 환경에서의 Huawei Ascend SuperPOD 벤치마크 결과, 특히 SWE-Bench 또는 MT-Bench 추론 지연 시간 수치를 주목하십시오. 또한, Nvidia가 샤딩 (Sharding) 우위를 좁히기 위해 Vera Rubin 아키텍처에서 더 큰 규모의 스케일업 (Scale-up) 구성을 통해 대응하는지도 모니터링해야 합니다.

* [gn_gpu_cluster를 통해 7월 24일 업데이트]

Vera Rubin NVL72에 대한 SemiAnalysis 보고서에 따르면 Grace Blackwell 대비 10배의 추론 성능 향상을 나타내고 있으며, 이는 Huawei Ascend SuperPOD와의 디코딩 처리량 격차를 현재 추정치인 1.3~1.7배 이상으로 벌릴 수 있습니다 [SemiAnalysis 기준]. 새로운 아키텍처의 더 큰 스케일업 (Scale-up) 도메인은 Huawei의 샤딩 (Sharding) 우위에 대응할 수 있으며, 추론 워크로드의 경쟁 구도를 변화시킬 수 있습니다.

원문 게시: gentic.news