NVIDIA가 아키텍처 논문을 공개함에 따라, 이제 NVIDIA Vera CPU에 대한 첫 번째 벤치마크를 확인할 수 있게 되었습니다. Ryan은 'Diving Deeper on NVIDIA’s Vera CPU: New Architectural Details and SPEC CPU 2026 Benchmarks'를 통해 이번 발표를 다루었습니다. 지금까지 공개된 수치들을 보면, NVIDIA Vera는 커스텀 Olympus 코어를 탑재한 흥미로운 Arm 호환 서버 CPU로 보입니다. NVIDIA가 발표한 후 몇 분 지나지 않아, NVIDIA의 속도가 AMD EPYC 대비 몇 배나 되는지와 같은 질문들이 들어오기 시작했습니다. 제품을 생산하는 거의 모든 기업이 그러하듯, NVIDIA 역시 유리한 비교 방식을 만들어냈습니다. 저는 지난 15년 이상 이 분야에 종사하지 않은 분들도 Vera와 Turin이 보다 표준화된 기준으로 어디쯤 위치할지 가늠할 수 있도록, Vera와 Turin 비교를 위한 보다 표준화된 프레임워크를 제공하고자 합니다.

저희가 AMD와 NVIDIA 모두와 협력하고 있다는 점을 미리 밝힙니다. 또한, 저희는 다른 독자층을 대상으로 이 내용의 더 확장된 버전을 앞서 유료 Substack에 게시한 바 있습니다.

그럼에도 불구하고, 저희는 수년간 보다 균형 잡힌 시각을 제공하기 위해 노력해 왔기에 STH 독자분들에게 프레임워크를 제공하고자 합니다.

NVIDIA Vera 백서 수치를 AMD EPYC Turin에 맞춰 표준화하기

NVIDIA가 AMD의 차세대 “Venice” CPU에 대해 더 많은 정보를 알게 될 것으로 예상되는 AMD Advancing AI 2026 직전에 Vera 백서를 공개했기 때문입니다. 기업들은 보통 현재 세대보다는 이전 세대와 비교하는 것이 유효한 비교이기 때문에 이러한 방식을 취합니다. AMD의 Venice에 대해서는 여전히 엠바고(Embargo) 상태이므로, 독자들이 NVIDIA Vera 결과에 대해 유용한 비교 프레임워크를 만들 수 있도록 돕는 틀을 제공하고자 합니다. 제가 다루고자 하는 핵심 사항은 다음과 같습니다:

• 소켓 및 코어당 메모리 대역폭 (Memory Bandwidth) 이득
• 코어 간 지연 시간 (Core-to-Core Latency), 칩렛 구조 (Chiplet Construction) 및 글루 (Glue)
• 중요한 코어 및 SMT 스레드 (SMT Threads)
• 그 다음, SPEC CPU2026 성능을 정규화하는 방법과 더 공정한 관점에서 AMD EPYC Turin을 NVIDIA Vera와 비교하기 위한 프레임워크에 대해 심도 있게 논의할 것입니다.

이것들은 업계에서 이전에 보았던 프레임링 기술들이므로, 많은 STH 독자들에게는 아주 획기적인 내용은 아닐 수 있습니다. 동시에, 우리는 사람들이 발표된 내용이 무엇인지, 왜 발표되었는지, 그리고 어떻게 대안적인 비교 지점에 도달할 수 있는지에 대한 더 많은 맥락을 파악할 수 있도록 돕고자 합니다.

소켓 메모리 대역폭 및 코어당 메모리 대역폭

메모리 대역폭은 대부분 간단한 수학입니다. 이는 소켓당 채널 수에 해당 채널의 속도를 곱한 값이며, 더 빠른 메모리는 시간이 지남에 따라 등장합니다. 즉, 서로 다른 연도의 CPU 간 대역폭 비교 중 상당 부분은 실제로는 메모리 세대(vintages) 간의 비교라는 의미입니다. 2024년 시대의 EPYC 9755에 탑재된 12채널 DDR5-6400은 약 0.6TB/s의 피크 대역폭을 제공합니다. Vera의 LPDDR5X-9600은 최대 1.2TB/s입니다. AMD는 이미 Venice가 1.6TB/s의 메모리 대역폭을 가진다고 밝혔으며, 우리는 이미 16채널 Venice 시스템을 보여준 바 있습니다. 현재 비교 지점은 여전히 Turin입니다. 다음은 NVIDIA의 Vera 화이트페이퍼에 포함된 NVIDIA의 비교 차트입니다:

NVIDIA Vera Whitepaper Memory Bandwidth To AMD EPYC 9755

화이트페이퍼에 제시된 코어당 메모리 대역폭(memory bandwidth per core) 수치인 12.7GB/s 대 3.1GB/s는 매우 충격적이며, 단순 대역폭(raw bandwidth) 수치보다 훨씬 더 큰 차이를 보입니다. 한 가지 이유는 EPYC 9755의 코어 수에 있습니다. 이 수치는 더 새롭고 빠른 메모리는 88개 코어로 나누고, 더 오래되고 느린 메모리는 128개 코어로 나누어 계산합니다. NVIDIA는 AMD 측의 분모를 자사의 Vera CPU보다 45% 더 크게 사용하고 있습니다. 96코어인 EPYC 9655가 NVIDIA의 88코어와 더 가깝기 때문에, 오늘날에는 그게 더 적절한 분모가 되었을 것입니다. 분모를 바꾸면 비율이 달라지겠지만, 2026년형 Vera는 2024년형 Turin보다 더 새로운 메모리 서브시스템(memory subsystem)을 갖추고 있어 분자가 더 큽니다. 이는 예상 가능한 결과이며, AMD도 이와 같은 세대 간 전환을 이전에 보여준 바 있습니다.

AMD EPYC 9004 Genoa DDR5 Memory Capabilities Bandwidth

NVIDIA의 차트가 충격적으로 보일 수 있지만, AMD는 메모리 채널 수를 늘리고 새로운 메모리 속도를 도입하여 상당한 이득을 얻었을 때 이와 유사한 양상을 보여준 적이 있습니다. 다음은 EPYC 7003 "Milan" (8ch DDR4-3200)에서 EPYC 9004 Genoa (12ch DDR5-4800)로의 전환에 관한 AMD의 슬라이드입니다. PCIe 세대 증가를 동반하는 경우가 많은 대규모 채널 및 메모리 속도 향상이 있을 때마다, 메모리 대역폭 분자(numerator) 또한 급증하며 이 차트들에서 큰 도약을 일으킵니다. 128코어 분모를 88 또는 96으로 변경하면, 이 차트는 Milan에서 Genoa로 가는 경로와 훨씬 더 유사해 보입니다.

AMD는 Vera가 Turin보다 더 높은 메모리 대역폭과 코어당 대역폭을 가지고 있다는 점을 인정할 것입니다. 또한 AMD는 이 분야가 Milan에서 Genoa로 넘어갔던 것처럼 자사의 2026년형 Venice 제품에서 큰 도약을 보일 것이며, 그것이 비교 차트를 극적으로 변화시킬 것이라고 말할 것입니다.

코어 간 지연 시간(Core-to-Core Latency), 칩렛 구조(Chiplet Construction), 그리고 글루(Glue)

백서의 일부는 수년 전 여러 개가 접착된(glued-together) 코멘트의 맨 앞줄에 앉아 있었을 때와 비슷한 느낌을 주었습니다. 백서의 코어 간 지연 시간(Core-to-Core Latency) 히트맵을 보면, AMD는 CCX 및 CCD 구조 외부에서 주로 빨간색으로 표시되는 반면, Vera는 주로 녹색으로 표시됩니다. 방향성 측면에서 이는 정확합니다. 칩렛(Chiplets)은 홉(hops)을 추가하며, 홉은 지연 시간(latency)을 추가합니다. 문제는 Vera가 목표로 하는 워크로드(workload)에 대해 그 빨간색 셀들이 의미가 있느냐 하는 점입니다.

NVIDIA Vera Whitepaper Core To Core Latency To AMD EPYC 9755

일반적으로 에이전틱 워크로드(agentic workloads)는 각각 1~4개의 코어를 사용하는 VM(가상 머신), 컨테이너(containers), 또는 샌드박스(sandboxes)에서 실행됩니다. 운영 체제(OS)가 이를 적절히 스케줄링하기만 한다면, 이들은 단일 EPYC CCX 내에 완전히 들어맞으며, 메인스트림 스케줄러(schedulers)와 컨테이너 런타임(container runtimes)은 이를 당연하게 수행합니다. CCX 내부에 머무는 워크로드는 AMD 자체 차트의 녹색 셀에 위치하며, 단일 코어 샌드박스는 코어 간 지연 시간에 거의 노출되지 않습니다. 만약 스케줄러가 스레드(threads)를 CPU 전체에 배치하여 4코어 워크로드를 파편화한다면, 크고 단일한 다이(monolithic die)가 더 안전한 토폴로지(topology)라는 것은 사실입니다. 이는 최적화가 제대로 되지 않은 환경에서 Vera가 가진 정당한 이점입니다.

이야기의 편리하게 불완전한 부분은 반대편에 있습니다. NVIDIA는 128코어 비교 지점을 선택함으로써, Vera에서 동일한 조건의 128코어 테스트를 수행할 경우 89번부터 128번 코어가 두 번째 소켓(socket)에서 가져와져야 하는 상황을 설정했습니다. 이 40개의 코어는 단순히 패키지 내의 칩렛 경계를 넘는 것이 아닙니다. 이들은 소켓 간 링크(socket-to-socket links)를 가로지르며, 신호가 더 멀리 이동해야 하기 때문에 우리는 해당 링크에서 훨씬 더 높은 지연 시간과 지터(jitter)가 발생할 것으로 예상합니다. 단일 다이(monolithic)의 지연 시간 이야기는 88코어까지는 유효하지만, 그 이후에는 역전됩니다. 한 걸음 더 나아가 176코어를 넘어서면, 홉(hop)은 단순히 노드(node) 내에 머물지 않습니다. 177번부터 256번 코어는 이제 NIC로 가는 PCIe 홉, NIC에서 스위치(switch)로 가는 홉, 스위치에서 NIC로 가는 홉, 그리고 멀리 떨어진 CPU로 가는 PCIe 홉을 거치게 됩니다.

어느 시점에서 싱글 스레드 (single-thread)가 지배적이라고 생각한다면, 코어 간 (core-to-core) 성능은 덜 중요해집니다. 만약 코어 간 성능이 더 중요하다고 생각한다면 (8코어를 넘어설 경우), 더 많은 코어를 가진 아키텍처를 원하게 될 것입니다. 코어에 관한 주제로, 우리는 코어와 SMT 스레드 (SMT threads)에 대해 이야기할 필요가 있습니다.

코어와 SMT 스레드

벤더가 SMT 지원이 가능한 CPU에 대해 싱글 스레드 (single-thread) 또는 싱글 코어 (single-core) 결과를 발표할 때, 이 두 용어는 의도적으로 사용되며 동일한 의미를 갖지 않습니다.

• EPYC 제품의 싱글 스레드 (single-threaded) 결과는 두 개 중 하나의 하드웨어 스레드 (hardware thread)를 의미합니다.
• 싱글 코어 (single-core) 결과는 전체 코어를 의미하며, 측정값에 두 스레드가 모두 기여합니다.

이전 세대의 CPU에서는 그 차이가 미미했습니다. 하지만 SMT 구현이 더 개선된 최신 제품에서는 그 차이가 상당합니다. 우리의 테스트 결과, 두 번째 스레드를 로드했을 때 Skylake 시대의 Xeon (기본 사이드 채널 완화 조치가 활성화된 상태)에서는 약 12%, Sapphire Rapids에서는 23-25%, Xeon 6에서는 29-32%, 그리고 Zen 5에서는 32-33%의 성능 향상이 있었습니다. Zen 5c의 경우 L3 캐시 미스 (L3 cache misses)가 더 자주 발생하기 때문에 몇 퍼센트 더 낮았습니다. 이는 이번 주 후반에, 저희의 다음 영상이 되기를 희망하는 콘텐츠에서 논의할 내용의 예고편입니다. SMT를 사용하는 싱글 코어는 종종 코어 단독 사용보다 30% 더 나은 성능을 제공합니다.

Dell VEP4600 Skylake D Spectre Meltdown Performance Impact Of SMT Versus Other Architectures In AgentSTH V7

따라서 하나의 코어가 1.0이라면, SMT 스레드를 포함한 하나의 코어는 1.3이고, 하나의 스레드는 0.65가 됩니다. 과거에는 이러한 효과 때문에 SMT를 지원하지 않는 벤더들이 "스레드당 (per thread)" 지표를 사용하는 것을 보았습니다. 더욱 다양해지는 CPU 제품군이 등장하는 세상으로 나아가면서, 이는 항상 염두에 두어야 할 사항입니다.

하지만 가장 큰 변수는 비교 방식이 어떻게 구성되느냐 하는 것입니다. 여기서 우리는 NVIDIA의 비교 포인트에 대해 더 상세한 분석을 제공하고, Vera와 Turin의 비교를 보다 중립적으로 구성하는 방법에 대한 가이드를 제공하고자 했습니다.