OpenAI의 맞춤형 Jalapeño AI 가속기 내부: OpenAI 하드웨어 부사장 Richard Ho와의 인터뷰

요약

OpenAI 하드웨어 부사장 Richard Ho는 추론(inference) 가속기인 'Jalapeño AI'에 대한 성능을 공개했습니다. 이 칩은 HBM4와 컴퓨트 다이, IO 칩렛으로 구성되어 있으며, 최대 27 EFLOP/s의 성능을 보여줍니다. 특히 NVIDIA GB200/GB300 대비 전력 효율성 및 지연 시간 측면에서 상당한 개선을 주장했습니다.

핵심 포인트

• Jalapeño는 추론(inference) 가속기이며, HBM4 216 GiB를 탑재합니다.
• 최대 성능은 27 EFLOP/s에 도달하며, 전력 소모는 지속 작동 시 약 550W입니다.
• NVIDIA 대비 피크 처리량당 와트 효율성이 1.5배~1.9배 개선되었습니다.
• 지연 시간(latency) 측면에서 최대 3.6배까지 개선을 주장했습니다.