해외 기사를 번역기로 번역 하였습니다 오역이 있을수 있으니 원문을 참고 하세요
NVIDIA Vera CPU는 에이전트 기반 AI 워크로드 전반에 걸쳐 주요 x86 칩에 비해 강력한 성능과 효율성을 지속적으로 보여주고 있습니다.
NVIDIA Vera CPU 초기 사용자들은 와트당 더 빠른 도구 속도, 와트당 더 많은 에이전트형 AI 작업, 그리고 와트당 더 넓은 메모리/코어 대역폭을 경험하고 있습니다.
Vera CPU는 에이전트형 AI 분야에 혁신을 일으키고 있으며 이미 여러 AI 기업에서 채택되었습니다. Vera가 대규모로 채택되는 이유는 에이전트형 AI 시대에 접어들면서 AI 수요가 GPU에서 CPU로 이동하고 있다는 점을 반영합니다.
에이전트형 AI 워크로드는 GPU와 CPU를 오가며 반복적으로 작동하는데, 이러한 과정은 작업당 수백 번씩 반복되는 경우가 많습니다. GPU는 추론을 처리하고, CPU는 도구 호출, SQL 쿼리, API 호출, 스크립팅 등과 같은 실제 작업을 처리합니다. 각 반복은 순차적으로 진행되며 많은 데이터를 필요로 하기 때문에 메모리에 반복적으로 접근합니다.
이러한 끊임없는 순환 과정을 따라잡기 위해 에이전트형 AI용으로 설계된 CPU는 다음과 같은 기능을 제공해야 합니다.
코어당 성능이 높아서 도구 호출이 빠르게 완료됩니다.
높은 메모리 대역폭 덕분에 데이터가 지연 없이 도착합니다.
지연 시간이 짧아 다음 GPU 추론 단계가 더 빨리 시작됩니다.
NVIDIA의 Vera CPU 아키텍처 변경 사항은 모든 면에서 훌륭했으며 , 회사는 다음과 같은 내용을 보여주는 새로운 벤치마크 결과를 공개했습니다.
고속 x86 96코어 부품 대비 와트당 에이전트 수가 1.6배 더 많습니다.
고밀도 x86 256코어 부품 대비 에이전트 속도가 2배 더 빠릅니다.
이러한 성능 결과는 AMD의 6세대 EPYC Venice 칩과 비교한 것입니다. 가장 빠른 96코어 6세대 Venice "주파수 최적화" SKU와 비교했을 때, Vera는 와트당 성능이 60% 더 높으며, 더 밀도가 높은 256코어 "Zen 6" SKU와 비교했을 때는 에이전트 속도(MW당 작업 수)가 두 배 더 빠릅니다.
NVIDIA가 공개한 결과는 에이전트 기반 AI 고객에게 매우 매력적으로 보이며, NVIDIA로부터 더 자세한 분석 자료를 기대해 봅니다. 한편, 주요 에이전트 기반 AI 제공업체들 사이에서 Vera의 도입은 계속해서 증가하고 있으며, 초기 도입 기업 목록과 각 기업의 실제 운영 환경 테스트 결과는 아래에 공유되어 있습니다.
Perplexity는 에이전트 코딩 작업이 기존 CPU보다 1.5배 빠르게 실행되었다고 밝혔습니다. Perplexity는 향후 프로덕션 시스템에 Vera를 도입할 계획입니다.
DeepInfra: 자체 프로덕션 에이전트 워크로드에서 Vera는 에이전트 오케스트레이션에서 최고의 x86 아키텍처보다 최대 2.2배 빠른 성능을 제공했으며, 테스트된 4개 아키텍처 중 가장 빠른 속도를 보였습니다.
ClickHouse: Vera 전용 튜닝 없이 표준 바이너리로 실행했을 때 176개 코어에서 거의 선형적으로 확장되었으며 ClickBench 하드웨어 순위에서 1위를 차지했습니다.
DuckDB: 인텔 제온 6 기준 프로세서의 TPC-H SF1000 평균 성능보다 약 1.5배 높습니다.
Daytona는 1,000개의 에이전트 샌드박스를 10.8초 만에 온라인 상태로 전환했으며, 2,000개의 동시 샌드박스에서 초당 12.7개의 작업을 완료했습니다. 이는 AMD EPYC 9755의 10.9개보다 높은 수치입니다.
모달: 유사한 x86 하드웨어 대비 코어당 샌드박스 처리량이 최대 2배 향상되며, 부하가 심할수록 성능 향상 폭이 커집니다.
NVIDIA의 Vera CPU는 에이전트형 AI 시대에 실질적인 경쟁력을 제공하며, 반복적이고 데이터 집약적인 워크로드에 필요한 효율성과 응답성을 제공하고 있습니다. 초기 운영 환경에서의 결과는 Vera CPU가 속도와 전력 소비 측면에서 주요 x86 대안들을 능가함을 보여주며, AI 인프라 제공업체들 사이에서 Vera CPU의 채택이 증가하고 있음을 뒷받침하고 있습니다.