OpenAI는 지난 몇 년 동안 Hot Chips에서 막 발표된 추론 칩인 “Jalapeño”를 조용히 구축해 왔습니다. 성공적인 테이프아웃(tapeout)에 대한 소문은 한동안 돌고 있었습니다. 하지만 이제 저희가 세부 정보를 얻게 되었습니다. OpenAI는 저희를 초대하여 이 칩을 살펴보고, 실제인지 확인하기 위해 연구소에 방문했으며, InferenceX 스위트로 벤치마킹할 수 있게 했습니다.
지난 6월, OpenAI는 Broadcom과의 파트너십으로 LLM 추론만을 위해 처음부터 설계된 칩 프로그램을 공개했습니다. 디자인 작업은 2024년 중반에 시작되어 초기 팀 채용부터 제조 테이프아웃까지 약 16개월 만에 완료되었는데, 이는 매우 빠른 ASIC 개발 주기입니다.
일반적으로 첫 세대 칩들은 경쟁력이 떨어지지만, OpenAI는 업계 최고 수준을 유지하며 우리가 여러 최고의 오픈 소스 모델에서 테스트할 수 있었던 모든 Nvidia, AMD, Google 칩들을 능가합니다. OpenAI는 극도의 하드웨어-소프트웨어 공동 설계(hardware software codesign)를 통해 이를 달성했습니다. 놀랍게도 OpenAI는 모델 추론의 특정 부분에 과도하게 전문화되지 않았고, 대신 모든 시나리오에서 높은 성능을 제공하는 범용 칩(general chip)이 되는 데 초점을 맞추었습니다.
본 기사에서는 Jalapeño의 아키텍처 세부 사항, 소프트웨어 세부 사항 및 InferenceX에서의 성능 결과를 다룰 것입니다.
일반화된 추론 칩
모두가 OpenAI의 칩이 OpenAI 모델에 특화되었다고 말하지만, 그것은 틀렸습니다. OpenAI는 AI 추론을 위한 범용 칩을 만들었습니다.
일정 자체가 엄청납니다. 이는 AI 사용이 칩 설계를 가속하는 데 실제로 활용되고 있다는 주장이 사실임을 보여줍니다. 빠른 일정과 관계없이, OpenAI는 많은 돈을 투자했고, 실용적인 설계 결정을 내렸으며, 그들의 팀은 최고 수준이므로 놀랍지 않습니다.
사양만 봐도 즉각적인 경쟁자입니다:
그리고 HBM4를 사용한다는 점은 이를 NVIDIA 및 AMD의 플래그십 GPU와 비교할 수 있는 수준으로 돋보이게 합니다:
이 칩에 대한 많은 미디어 보도는 OpenAI가 이 칩이 다른 칩으로는 최적화될 수 없는 방식으로 자사 모델에 맞춰질 것이라고 주장한 몇 가지 가벼운 발언들을 따라왔습니다. 이것은 잘못되었습니다. Jalapeño는 모든 종류의 워크로드, 그리고 저희가 OpenAI 엔지니어들과 실험실에서 테스트했던 벤치마크 InferenceX를 포함하여 모든 종류의 모델을 실행할 수 있는 범용 추론(inference) 칩입니다. 농담 삼아, OpenAI는 심지어 코덱스 프롬프트만으로 자사 칩에 포팅된 Doom을 구동하는 것을 저희에게 보여주었습니다.
다음은 All-in 유틸리티 MW당 토큰 처리량(token throughput)을 측정한 헤드라인 perf/W 결과입니다. Jalapeño가 다른 모든 칩들을 압도합니다. 이 모든 것은 Multi Token Prediction (MTP) 없이 이루어졌으며, 차트에 있는 다른 칩들은 각각의 SKU에서 최고 성능으로 구성된 모델들로 모두 MTP를 사용했습니다.
Jalapeño는 특정 지점에 맞춰진 것이 아님에도 불구하고 거의 모든 시나리오에서 perf/W 면에서 Blackwell을 능가합니다. 이는 낮은 지연 시간(low-latency) 시나리오뿐만 아니라 높은 처리량(high-throughput) 시나리오에서도 탁월합니다. 더 사과와 사과를 비교하는 것 같은 공정한 비교는 Single Token Prediction (STP) 결과와 비교했을 때이며, 모든 경쟁 제품들을 압도합니다. 낮은 동시성(low concurrency) 시나리오에서 Jalapeño는 놀라운 상호작용성을 보여주며, DeepSeek R1 모델의 경우 동시성 1에서 사용자당 초당 700 토큰을 초과 달성했습니다.
놀랍게도, 이 모든 것은 단일 토큰 예측(STP)으로, 추측 디코딩(speculative decoding)이나 프리필-디코드 분리(prefill-decode disaggregation) 없이 달성되었습니다. DeepSeek R1 외에도 Kimi-K2.5와 GPT-OSS를 포함한 다른 모델들도 확인했으며, 이들은 약 1,400 tok/sec/user로 구동되었습니다. 모든 모델에 대해 Jalapeño의 GSM8k 평가 결과가 Nvidia 칩과 동등한 결과를 달성했음을 확인했습니다.
이에 대한 몇 가지 주의사항이 있습니다. 첫째, 모든 수치는 OpenAI에서 제공받은 것입니다. 저희는 InferenceX 테스트를 실험실에서 직접 수행했지만, 전체 InferenceX 벤치마크 스위트를 실행하지 않았으며 AgentX 결과도 확인하지 못했습니다. AgentX는 실제 프로덕션 워크플로우의 캐시 동작을 반영하는 긴 컨텍스트와 다중 턴 특성 때문에 칩 성능 비교에 저희가 선호하는 스위트입니다. 8k1k에서 좋은 성능을 보이는 프레임워크가 AgentX에서는 더 나쁠 수 있는데, 실제 프로덕션 부하가 라우터(routers), 접두사 캐시 메커니즘(prefix cache mechanisms), 캐시 관리(cache management), 오프로드 인프라(offload infrastructure) 등과 같은 구성 요소를 스트레스 주기 때문입니다. 이러한 요소들은 단일 턴 8k1k에서는 테스트되지 않습니다. 저희의 AgentX 아티클에서 더 자세한 내용을 읽어보세요.
둘째, Blackwell과의 비교는 다소 불완전하고 공정하지 않다고 생각합니다. Jalapeño는 HBM4를 사용하는 Rubin과 같은 칩과 경쟁하는 것이 실제입니다. Vera Rubin 시스템은 현재 고객에게 출하되기 시작했으며, OpenAI가 Jalapeño에 대해 엔지니어링 샘플 이상의 것을 갖기까지는 아직 시간이 걸릴 것입니다.
따라서 성능은 Blackwell이 아닌 Rubin과 비교되어야 하며, 어떤 면에서는 저희는 Jalapeño와 같은 맞춤형 칩이 Blackwell보다 우수할 것으로 예상합니다. Vera Rubin NVL72는 지난달 CoreWeave와의 NVIDIA 출시에서 발표한 성능 주장을 분석한 저희 아티클에서 설명했듯이 GB200 NVL72 대비 5.4배의 perf/MW를 제공합니다. 아래에서 Jalapeño와 Vera Rubin의 7월 성능 수치를 비교하겠습니다.
셋째, 테스트되는 모델들은 개방된 최전선(open frontier)에 있는 모델들이 아닙니다. NVIDIA와 AMD는 AgentX를 사용하여 DeepSeek V4 Pro 및 Kimi K3와 같은 더 큰 모델에 대한 결과를 발표했습니다. 모델이 크고 출시가 최근일수록 새로운 칩에서 구동하기가 더 복잡합니다. 그렇다고 해도 OpenAI가 Jalapeno에서 작업하는 모델들이 결코 작지는 않습니다.
성능 분석
OpenAI는 성능당 전력(perf/W)을 설계합니다. 그 이유는 간단합니다. OpenAI는 현재 예산이나 공간이 아니라 데이터센터의 전력에 의해 제한받고 있으며, 따라서 MW당 토큰(tokens per MW)이 가장 중요하기 때문입니다. Computex 2026에서 Jensen은 성능당 전력(perf/W), 신뢰성, 그리고 긴 수명이 미래 GPU의 핵심 기능이라고 말했습니다. 인용하자면, “1기가와트의 전력을 가지고 있다면, 와트당 처리량(throughput per watt)이 곧 수익이다.” 그는 또한 칩이 더 저렴하다는 이유만으로 잘못된 아키텍처를 선택하는 것은 의미가 없다고 언급했습니다.
이는 Nvidia가 Hot Chips 2026에서 Vera 발표를 하는 동안 동일한 수익 그래프를 보여주면서 강조되었습니다. “데이터센터는 오늘날 전력에 의해 제한됩니다.” 전력이 중요하며 수익을 창출합니다.
운영자들은 단순히 더 많은 MW를 확보할 수 없습니다. 왜냐하면 GPU 추가와 그리드 용량 증가는 매우 다른 시간 척도에서 발생하기 때문입니다. 데이터센터의 전력 한계는 유틸리티 연결, 인프라, 냉각 용량, 그리고 UPS/백업 발전기 설계와 같은 제약 사항을 가집니다. 그리드 지연은 하드웨어 및 건설 일정보다 반복적으로 앞서나가며, BtM(behind-the-meter) 전력 용량의 필요성을 야기합니다. 즉, 데이터센터 자체에 구축되고 위치하는 가스 터빈과 현장 발전기입니다. 이 용량은 공공 그리드에서 끌어오는 것이 아니라 유틸리티 계량기 뒤쪽에 자리 잡습니다. 이를 통해 운영자는 그리드 연결 및 유틸리티 업그레이드를 기다릴 필요 없이 시설에 전력을 공급할 수 있으며, 이것이 바로 xAI의 Colossus 2가 실제 그리드 연결이 훨씬 뒤처져 있음에도 불구하고 BtM에 크게 의존하는 이유입니다. 자세한 내용은 저희 에너지 모델을 참고하십시오.
저희가 X 게시물에서 작성했듯이, tok/s/MW는 와트(watt)가 줄(joule) 퍼 초(second)이기 때문에 토큰당 줄(tokens per joule)로 환산됩니다. 이는 tok/s/MW가 시스템의 효율성 및 에너지를 토큰으로 변환하는 능력을 대표함을 의미합니다.
이 측면에서는 Rubin과 비교하더라도 Jalapeño가 우수합니다. OpenAI의 Jalapeño는 NVIDIA와 CoreWeave가 7월에 발표한 Vera Rubin의 MTP 결과보다 MW당 STP 출력 토큰 처리량(output token throughput)을 능가합니다. 또한 GB200의 2025년 MTP 결과도 훨씬 뛰어넘습니다. 저희 Vera Rubin 기사에서 언급했듯이, VR은 초기 도입 단계(early bring-up)가 유사했기 때문에 2025년 GB200 결과와 비교되었으며, 이는 소프트웨어 성숙도를 일정하게 유지하는 비교입니다. 이러한 논리에 따라, 저희는 Vera Rubin의 최신 2026년 7월 결과를 오늘날의 Jalapeño 결과 및 GB200 2025년 결과와 비교합니다. 이것은 매우 타당한 비교인데, 왜냐하면 이들은 가장 좋은 공개된 Rubin 수치들이며 OpenAI가 Rubin 이후에 칩을 테이프아웃(taped out)했기 때문입니다. OpenAI와 Rubin 모두 아직 미성숙하므로 성능은 계속해서 상승할 것입니다.
성능/총소유비용(perf/TCO) 측면에서 Vera Rubin과 Jalapeño는 정면 대결을 펼치며, 거의 동일한 달러당 출력 토큰 수를 생성합니다. 하지만 이전에 언급했듯이, Jalapeño의 결과는 추측 디코딩(speculative decoding) 없이 얻어졌고, Vera Rubin의 결과는 추측 디코딩을 사용합니다. 추측 디코딩은 토큰당 비용을 약 3~5배 감소시킵니다. Jalapeño에 추측 디코딩이 구현되면, 이는 Jalapeño가 훨씬 더 비용 효율적으로 토큰을 제공할 수 있게 할 것입니다. 물론, 이 TCO 우위의 일부는 Nvidia의 높은 마진을 Broadcom의 낮은(하지만 여전히 높은) 마진과 교환하는 것에서 나옵니다. 하지만 이것만이 전부는 아닙니다. 예를 들어, Meta와 Microsoft의 AI ASIC 프로그램이 훨씬 오랫동안 시도했음에도 불구하고 진전되지 않은 것은 비용이 방정식의 단지 일부에 불과하다는 것을 보여줍니다. Jalapeño의 전체 TCO 분석은 SemiAnalysis AI Cloud TCO 모델을 참고하십시오.
구조적으로 OpenAI는 prefill과 decode (PD)를 별도의 칩 풀로 분리하지 않기로 결정했습니다. 초안 모델(draft model)과 메인 모델(main model)은 동일한 칩과 패브릭을 공유하며, 이는 이론적인 효율성 일부를 실제 운영 측면에서 희생하는 설계 철학입니다. 그 동기는 워크로드 혼합 비율이 시간에 따라 변하기 때문입니다. 예를 들어, 입력 토큰 대 캐시 쓰기 대 캐시 읽기 대 출력 토큰의 비율은 모델의 세 시대(지식, 추론, 에이전트)를 거치면서 크게 변화했습니다 (최근 기사에서 논의된 바와 같이). 따라서 처음부터 고정된 양의 이종 prefill 실리콘과 decode 실리콘을 선택하는 것은 시간이 지남에 따라 비효율성을 초래할 수 있습니다. OpenAI는 이 아키텍처에서 균질한(homogenous) 풀을 선택하여 칩이 모든 작업에서 잘 작동하도록 만듭니다.
그리고 실제로 그렇게 합니다. Kimi K2.5 (Cursor Composer 2.5가 기반으로 하는 모델)에서 Jalapeño는 사용자당 거의 700tok/s에 도달하며, 이는 다음으로 성능이 좋은 칩보다 100tok/s/사용자 기준으로 9배 이상 높은 수치입니다.
GPT-OSS에서는 또 다른 압도적인 성능을 보여줍니다. Jalapeño의 MW당 iso-interactivity 처리량은 GB200의 최고 처리량 지점보다 거의 두 배에 달하며, GB200의 동시성(concurrency) 1 포인트보다 50배 이상 높습니다. 더 높은 동시성을 위해 Jalapeño는 EP8을 사용합니다.
이러한 결과는 인상적입니다! 하지만 우리는 세부적으로 지적해야 합니다. 이것들은 단지 8k1k이며, 이는 튜닝하기 훨씬 쉬운 워크로드이고 아직 AgentX 실행은 없습니다. 저희의 AgentX 기사에서 언급했듯이, 다중 턴(multiturn)의 긴 컨텍스트 워크로드는 라우터나 프리픽스 캐시와 같은 서빙 스택의 훨씬 더 많은 측면을 부하합니다. 에이전트 작업에서 탁월함을 보이기 위해서는 훨씬 더 많은 최적화가 필요합니다. 자세한 내용은 AgentX 기사를 참고하세요.
사양 및 아키텍처 분석
이 모든 결과는 프로그램 시작 후 불과 9개월 만에 얻은 Jalapeño의 A0 스텝핑(stepping)에서 수집되었습니다. 하지만 현재 공장(fab)에 들어간 B0 스텝핑도 이미 존재합니다! B0에는 이전 A0 실리콘 대비 약 25%의 성능-와트 효율 개선을 제공하는 최적화가 적용되어 있습니다. 구체적으로, B0 스텝핑은 TSMC의 N3P 공정으로 제조된 단일 리티클 크기 컴퓨팅 다이에서 13.4 PFLOPs의 MXFP4를 제공합니다. 이는 유사한 크기와 동일 노드에서 제조된 단일 Rubin 컴퓨팅 다이의 밀집된(dense) Rubin NVFP4 17.5 PFLOPs와 비교됩니다.
Jalapeño의 TDP가 700W인 반면, Rubin은 컴퓨팅 다이당 900~1,150W에 달한다는 점을 고려하면 이는 더욱 인상적인 수치입니다. Jalapeño는 학습(training)보다는 추론(inference)에 중점을 두고 설계되었기 때문에 OpenAI가 FLOPs를 극대화하기 위해 TDP를 더 높일 필요가 없다는 것은 이해할 만하지만, 그럼에도 불구하고 위 내용은 Jalapeño가 준수한 최고 이론적 FLOPs를 제공한다는 것을 보여줍니다.
다른 가속기와 직접 비교했을 때, Jalapeño는 와트당 가장 높은 HBM 대역폭과 와트당 가장 높은 FLOPs를 가지며, 이는 1,800W의 Rubin Max-Q 구성과 필적합니다:
오프패키지 I/O(Off-package I/O)는 컴퓨팅 패브릭을 위해 32개의 800G SerDes 레인을 가진 N3E I/O 치프렛(chiplet)으로 제공되며, 이 중 24개 레인(600GB/s)은 랙 내 로컬 스케일업에 사용되고, 나머지 8개 레인(200GB/s)은 2,048 XPU 다중 랙 도메인인 글로벌 스케일업에 사용됩니다. PCIe Gen 5는 x86 호스트 CPU와 연결하기 위한 시스템 I/O로 사용됩니다.
Jalapeño는 HBM4와 함께 출하되어, 이 칩을 Nvidia와 AMD에 이어 비교적 초기에 채택하는 제품 중 하나로 만들며, 기존의 TPU 및 Trainium 프로그램보다도 앞서 나갑니다. Jalapeño의 핵심 아키텍처 원칙 중 하나가 HBM 대역폭을 최대한 활용하는 것이기 때문에, 최고 수준이 아닌 다른 HBM을 선택하는 것은 그 목표에 역행할 것입니다. 이로 인해 패키지당 15.4TB/s의 메모리 대역폭을 제공하며, 이는 HBM3E를 사용하는 다른 모든 가속기보다 뛰어납니다. 15.4TB/s의 대역폭은 Jalapeño의 HBM4가 10Gbps 핀 속도에 도달할 수 있음을 보여주며, 이는 Rubin에서 Nvidia가 얻는 9.6Gbps보다 약간 우위를 점하게 합니다. 이 HBM은 아마도 Samsung이 제공할 가능성이 높습니다.
