OpenAI의 Jalapeño ASIC이 Nvidia의 Vera 대신 AMD EPYC 'Turin' CPU와 호스트로 배포

Ho는 _Tom’s Hardware Premium_에 “우리가 그 설계를 접근한 방식은 정말 위험을 줄이고 빠르게 설계할 수 있는 것이었습니다. 독립형(standalone)으로 보면, Vera는 그 성숙도 수준에서 조금 뒤처져 있습니다. Turing 장치는 강력합니다. 우리가 필요로 하는 것을 수행했고, 부분적으로 우리의 파트너들은 그것에 대한 경험이 있었습니다.”라고 말했습니다. “Jalapeño 프로그램의 경우, 우리는 매우 실용적인 결정을 내리려고 노력했습니다. 성능과 비용 목표에 대해서는 공격적이고 싶었지만, 불필요한 위험을 감수하고 싶지는 않았습니다. 이것은 우리가 이러한 설계 결정을 내리는 방식의 매개변수에 맞는 좋은 설계 결정이었다고 느꼈습니다.”

시장에 나와 있는 Arm 기반 CPU가 많으며, 그중 많은 부분이 Google Cloud의 Axiom이나 AWS의 Graviton과 같은 다양한 하이퍼스케일러 내부에서 배포되고 있습니다. 하지만 Vera와 Arm 자체 AGI는 AMD 및 Intel의 x86 대응 제품과 비교하여 에이전트 루프(agentic loops)에 관련된 복잡한 추론을 가속화하는 '에이전틱 CPU(agentic CPUs)'로 설명되어 왔습니다. 우리는 Ho에게 이 역동적인 상황과 OpenAI와 Nvidia 간의 긴밀한 협력 관계를 고려했을 때 왜 Turin이 적절한 선택이었는지 물었고, 그들은 위 인용문으로 답변했습니다.

Arm은 오랫동안 x86 대비 AArch64 ISA의 장점을 홍보해 왔으며, 심지어 자체 AGI CPU가 최신 x86 플랫폼보다 두 배 이상의 성능을 제공한다고 주장하기도 했습니다. 그러나 이 주장은 실제 벤치마크가 아닌 내부 추정치에 기반합니다. 이 회사는 시장에서 AGI 채택에 자연스럽게 낙관적이지만, 인상적인 20억 달러의 약속이 있음에도 불구하고, 분석가들은 시장 침투율이 2년 후에도 낮은 한 자릿수에 머물 것이라고 말합니다.

Nvidia는 Vera가 최대 1.8배 앞선다고 보여줍니다. 하지만 이는 SPEC CPU 2026의 전체 점수를 코어당으로 나눈 결과입니다. 전반적으로 보면 단지 3% 정도 앞설 뿐입니다. (이미지 출처: Nvidia)

올해 서버 CPU 수요 폭증과 진화하는 에이전트 워크로드(agentic workloads)에 힘입어, Nvidia는 메시징 분야에서 선두를 달리고 있으며, Arm 기반의 Vera를 x86 경쟁 제품과 비교하며, 경쟁 AMD Turin 칩보다 1.8배 개선되었다고 과감하게 주장했습니다. 이는 전체 벤치마크 스위트에서 추출된 수치를 통해 Vera가 AMD의 EPYC 9755보다 단지 3% 앞서 있음을 보여줍니다.

Graviton부터 Azure의 Cobalt에 이르기까지 많은 준커스텀 Arm 디자인은 클라우드 워크로드를 위해 코어 밀도와 효율성에 초점을 맞춰왔습니다. Vera와 AGI는 최고 성능을 추구하기보다는 메시징(messaging)으로 방향을 전환하고 있습니다. 초기 Vera 벤치마크에서 Nvidia의 CPU는 인상적으로 보이지만, 우리가 이 칩을 광범위한 다양한 워크로드에서 실제로 작동하는 모습을 아직 확인하지 못했으며, 하물며 AMD의 곧 출시될 Venice CPU나 Intel의 Diamond Rapids와 비교하여 벤치마크된 적은 없습니다.

OpenAI가 Turin을 사용하기로 결정한 점이 흥미로운 부분은, 이 플랫폼이 OpenAI에게는 물론, 'Vera CPU'를 탐색하는 고객사 목록에 있는 Arm의 배포 파트너 중 하나라는 것입니다 Nvidia에 따르면). OpenAI와 다른 선도 연구소, 그리고 하이퍼스케일러들은 광범위한 종류의 하드웨어를 보유하고 있습니다. Jalapeño를 특히 Turin과 페어링한 것은 리스크를 줄이는 데 초점을 맞췄으며, Ho는 이 플랫폼의 성숙도를 근거로 들었습니다.

광범위하게 볼 때, x86_64가 AArch64보다 더 성숙합니다. ARM은 1980년대 중반부터 존재해 왔지만, 제대로 된 64비트 확장 기능이 등장한 것은 x86에서 도입된 지 12년 후에나 가능했습니다. 그리고 비록 Arm이 지난 20년간 데이터 센터에 진출했지만, 여전히 수십 년 전으로 거슬러 올라가는 훨씬 더 깊은 x86 기반이 존재합니다.

하지만 Ho의 발언이 AArch64와 x86 사이의 경계 구분에 관한 것이라고 보기는 어렵습니다. 오히려 이 발언들은 Turin과 Vera 사이의 역동성에 초점을 맞추고 있으며, 특히 후자는 데이터 센터용 커스텀 CPU 코어로서는 Nvidia가 처음 시도하는 것입니다. 비록 Vera의 초기 벤치마크 결과가 인상적이지만, 그럼에도 불구하고 OpenAI의 랙 규모 Jalapeño 배포에는 불필요한 리스크를 의미했습니다.

OpenAI의 파트너들이 Turin을 사용해 본 경험이 있다는 것에 대한 Ho의 언급은 하드웨어 팀의 사고방식이 어디에 초점을 맞추고 있었는지 보여줍니다. Turin과 Vera 간에 호스트 시스템 서비스 측면에서 실용적인 차이점들이 몇 가지 있는데, 가장 눈에 띄는 것은 Vera가 보드 장착형(board-mounted)인 반면 Turin 칩은 소켓 방식(socketed)이라는 점입니다. 서버에서 칩을 교체하는 것이 일반적으로 흔한 일은 아니지만, Turin의 경우 더 쉽습니다.

OpenAI가 보유하고 있는 하드웨어 플릿이 있다는 점을 고려할 때, Jalapeño는 미래에 다른 호스트 시스템과 배포될 가능성이 있으며, 잠재적으로 Arm의 AGI 또는 Nvidia의 Vera와 페어링될 수도 있습니다. 하지만 현재로서는 Turin이 올바른 선택이었습니다.