에이전트 AI 시대의 AMD EPYC 9006 CPU 전망
요약
본 기사는 에이전트 AI 시대에 필요한 데이터 센터 CPU의 개념을 확장하고, AMD EPYC 'Venice'와 같은 차세대 프로세서의 전망을 논합니다. 특히 기존 플래그십 모델이었던 EPYC SP7부터 전력 효율성이 강조된 SP8 소켓 버전까지 다양한 SKU를 분석하며, AI 워크로드에 최적화된 CPU 설계 방향을 제시하고 있습니다.
핵심 포인트
- 에이전트 AI 시대에는 BMC나 열 교환기 등 모든 프로세서가 데이터 센터의 일부로 간주되어야 합니다.
- AMD EPYC 9006 SP7은 최대 256코어, 1.6TB/s 메모리 대역폭을 제공하는 고성능 모델입니다.
- SP8 소켓 버전은 130W부터 400W까지 전력 소비를 다양화하여 효율성을 높였습니다.
저는 에이전트 AI(Agentic AI) 시대의 차세대 AMD EPYC “Venice” CPU에 대한 관점을 논하고 싶었습니다. 저희는 몇 주 전 언급된 Substack 글에서 데이터 센터 CPU가 에이전트 AI 시대에 무엇을 의미하는지 탐구했습니다. 왜냐하면 데이터 센터는 수많은 프로세서를 구동하기 때문입니다. 여기서는 세부 사항은 생략하겠지만, 코어 수가 3자리 수이고, 엄청난 양의 PCIe와 메모리가 연결된 500W CPU를 상상해 보십시오. 그리고 여기에 2GB 또는 4GB의 메모리가 연결된, 성능이 낮은 dual-quad-core Arm 프로세서가 sub-6W로 작동하는 경우도 있습니다. 여러분은 많은 프로세서들이 데이터 센터에 있다고 주장할 수 있습니다. 저희는 STH에서 수년 동안 이 점을 강조해 왔지만, 대부분의 서버에 있는 ASPEED BMC는 자체 펌웨어와 메모리, 스토리지, 네트워크 연결성을 실행하고, 자체 웹 서버 및 API를 구동하며, 서버 내부에 위치합니다. 만약 이것이 데이터 센터 CPU라고 한다면, 온도, 펌프, 흐름을 모니터링하는 후면 도어 열 교환기에 있는 동일한 프로세서도 데이터 센터 CPU로 간주될까요? 전원 선반에 있는 것은 어떻습니까? 목록은 계속되지만, 저희는 더 관련성 높은 집단을 찾아야 했고, 이것이 우리가 제시한 것입니다.

여기서 우리는 그러한 위치에서 흔히 발견되는 노드 유형들을 식별했습니다. Substack 프레임워크에 대한 피드백을 받았기 때문에, 고려할 수 있도록 좀 더 확장된 내용을 여기에 제공합니다:

요즘 이 주제가 워낙 크기 때문에, 저는 Venice를 이러한 일부와 연결한 관점을 정리하고 싶었습니다. CPU를 판매하는 사람들은 보통 자신들의 칩이 “모든 것”에 가장 좋다고 말하지만, 일반적으로 그 “모든 것”은 특정 영역 안에 있습니다. AMD 자체의 제품 라인업도 이와 같아서 EPYC 9006 패밀리의 여러 버전을 가지고 있기 때문입니다.
먼저 AMD EPYC SP7부터 살펴보겠습니다. 이전 세대에서는 이 제품이 플래그십 또는 '고성능' 구성으로 여겨졌습니다. 이제는 여러 옵션 중 하나로 간주될 수 있습니다. 주요 사양은 최대 256코어와 512스레드(600W 부품 기준)를 제공하거나, 최대 5GHz에서 최대 96코어 및 192스레드를 제공할 수 있다는 것입니다(500W 부품 기준). 64코어 300W 모델도 있지만, 공개된 9개 SKU 중 5개는 500W이고 나머지 2개는 600W입니다. 메모리 대역폭은 1.6TB/s로, 12800MT/s MRDIMM 16채널에 해당합니다.

베네치아의 다른 쪽에는 SP8 소켓 버전이 있습니다. 이 버전은 130W부터 400W까지 전력 소비가 달라지며, 코어 수는 8개에서 128개까지 확장됩니다.

여기서 Intel Xeon과 비교해 본다면, Intel Xeon 6700P와 Xeon 6900P 시리즈처럼 생각할 수 있습니다. 다만 더 최신 코어, 최신 메모리 표준, PCIe 표준 등이 적용된 버전입니다. 시장에 256코어/512스레드 버전이 훨씬 높은 메모리 대역폭과 I/O를 제공하는 옵션이 있는 상황에서, 288코어 Xeon 6900E 시리즈가 어느 정도 성능을 보일지는 확신하기 어렵습니다. 제가 Intel Xeon 6을 언급한 이유는, 인텔의 제품 계획이 수년 전부터 시장을 고성능 소켓과 저성능 소켓으로 양분할 필요성을 인식했기 때문입니다. AMD 역시 현재 유사한 접근 방식을 취하고 있습니다.
이는 매우 중요한 지점이라고 생각합니다. 특히 모두가 에이전트 AI CPU를 원하기 때문에 더욱 그렇습니다. 워크로드의 일부는 AI Factory에 속하지만, 상당 부분은 다른 데이터 센터에도 부하를 줄 것입니다. 최대 성능과 밀도를 추구하는 대형 소켓을 갖추고, 전통적인 랙에 더 많이 장착할 수 있는 소형 소켓을 갖추는 것이 최적의 방법인 것 같습니다.
그리고 사람들을 흥분시킬 만한 칩이 있습니다. L3 캐시가 1.1GB 또는 코어당 12MB이며, 메모리 대역폭은 1.6TB/s이고 주파수가 더 높은 EPYC 9006X는 SP7 CPU이지만, HPC(고성능 컴퓨팅) 애플리케이션에 맞춰 설계되었습니다.
코어와 다른 모든 것들이 최신화되었습니다.
흥미로운 점은 EPYC 9006X가 조금 더 나중에 출시될 것이지만, 괴물급 성능일 것이라는 점입니다. 달리 말하자면, 업계에는 Meta Muse와 그 2개의 vCPU 환경(SMT=2로 코어 하나 사용)을 보고 목표가 소켓에 최대한 많은 vCPU를 채워 넣는 것이라고 보는 시각이 많습니다. 다른 쪽에서는 소켓당 100코어 미만이 적절한 형태이며, 메모리 대역폭과 코어당 성능 극대화가 중요하다고 믿습니다. EPYC 9006X는 이상적인 세계에서 두 번째 진영이 원하는 사양입니다.
그리고 AMD EPYC 라인에 LPDDR5X를 가져오는 AI 호스트 프로세서, AMD EPYC 9006 LP가 있습니다. 이는 우리에게 NVIDIA Grace나 Helios Rack에 들어갈 수 있도록 설계된 Vera CPU의 직접적인 경쟁자로 느껴집니다.

지난 1년 정도 동안 192코어 Turin Dense 부품을 탑재한 8x GPU AMD Instinct 서버를 여러 대 보았습니다. 우리가 테스트했던 다른 시스템들은 64코어나 128코어의 Turin 부품을 사용했습니다. 이 랙 규모 설계에 대한 해답은 랙에 가장 많은 코어를 넣는 것보다는 전력 제한(power envelope)을 맞추는 것인 것 같습니다. 기술적으로 이것은 Venice CPU가 아니라 Verano이므로, 시리즈를 데이터센터 CPU 프레임워크에 더 쉽게 배치하기 위해 이 글의 제목을 EPYC 9006 from Venice에서 변경했습니다.
이러한 개요와 함께 이제 매핑할 시간입니다. 저희에게는 여러 EPYC 9006 시리즈 프로세서와 차트가 있으므로, 이제 매핑할 차례입니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 ServeTheHome의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기