OpenAI가 자체 LLM을 활용하여 Jalapeño 칩을 설계한 방법

8월 25일, OpenAI는 사내 최초의 AI 가속기 칩인 Jalapeño를 전격 공개했습니다. Jalapeño는 최대 13.4 petaflops의 4비트 컴퓨팅 성능을 제공하며, 가장 진보된 메모리 중 하나인 232 기가바이트에 접근할 수 있고, 이를 무려 초당 15.4 테라바이트로 연결합니다. OpenAI가 제시한 벤치마크에 따르면, Jalapeño는 현재 회사가 의존하고 있는 Nvidia의 GB300과 비교했을 때 엔드투엔드 지연 시간(프롬프트부터 마지막 토큰까지 걸리는 시간)을 최대 3.6배까지 줄일 수 있으며, 이는 전력 소비를 더 적게 하면서 달성됩니다.

Jalapeño가 OpenAI의 추론(inference) 플릿에 광범위하게 도입된 후 이러한 수치들이 실제적인 이득으로 이어질지는 두고 봐야 하지만, 성능은 이야기의 절반에 불과합니다. 나머지 절반은 칩이 어떻게 설계되었는지인데, 이 과정 역시 예상대로 OpenAI의 대규모 언어 모델(LLMs)에 의해 가속화되었습니다. Jalapeño는 최초 아키텍처 개념에서 첫 실리콘까지 20개월도 채 걸리지 않았습니다. 심지어 최종 디자인을 제조사에 보내는 테이프아웃(tape-out)과, 칩의 로직을 정의하는 레지스터 전송 수준 코드인 첫 RTL(Register-Transfer Level) 사이에는 단 9개월밖에 차이가 나지 않았습니다.

이는 매우 빠른 일정이지만, 전문가들은 LLMs가 개선되고 칩 설계 도구에 더 깊이 통합됨에 따라 곧 느리게 보일 수 있다고 믿고 있습니다. OpenAI는 놀랍지도 않게 이러한 기회에 대해 낙관적입니다. OpenAI의 하드웨어 부문 부사장인 Richard Ho는 "모델들이 우리 엔지니어들에게 초능력을 부여하고 있다"라며, "우리 엔지니어들이 여전히 작업을 주도하고 있으며, 무엇이 일어나고 있는지 최종 결정권자이다. 하지만 그들은 훨씬 더 빠르게 할 수 있게 되었다. 그리고 훨씬 더 많은 경로를 탐색할 수 있다."라고 말했습니다.

OpenAI는 소규모 설계 팀으로 빠른 결과를 달성했다

Ho에 따르면, Jalapeño를 설계한 그룹은 프로젝트 기간 동안 평균 100명 미만이었으며, 팀이 2세대 및 3세대 설계를 추진함에 따라 현재도 약 100명을 유지하고 있습니다. 이 숫자는 시스템 설계부터 소프트웨어 및 공급망에 이르기까지 하드웨어 팀의 광범위한 역할을 포함하지만, 프로젝트에서 OpenAI와 파트너를 맺은 Broadcom의 인력은 포함하지 않습니다.

Ho는 OpenAI와 Broadcom 간의 업무 분담이 일반적으로 설계(design)와 구현(implementation)으로 나뉘었다고 말합니다. OpenAI 팀은 추론 가속기(inference accelerator), 메모리 계층 구조(memory hierarchy), 네트워킹을 포함한 엔드투엔드 시스템 설계(end-to-end system design)를 담당했습니다. Broadcom은 “게이트 이후의 물리적 설계(physical design from the gates onward)”를 처리했다고 합니다.

Broadcom과의 파트너십은 OpenAI의 속도에 대한 일부 의견을 누그러뜨렸습니다. 에이전틱 칩 설계 스타트업 Verkor.io의 공동 창립자인 David Chin은 “그들이 제시한 일정은 상당히 신뢰할 만하다”고 말했지만, Jalapeño의 빠른 일정이 Broadcom의 도움이 필수적이었다고 믿었습니다. 그는 “다른 누군가가 처음부터 시작한다면 불가능할 것”이라고 말했습니다. Verkor의 공동 창립자이기도 한 Ravi Krishna는 OpenAI의 속도를 “상대적으로 인상적인 결과”라고 평가했지만, 만약 오늘 프로젝트가 시작된다면 LLM 기능 개선을 통해 훨씬 더 빠른 일정을 기대한다고 덧붙였습니다.

University of California, San Diego의 저명한 교수인 Andrew Kahng 역시 OpenAI의 속도가 주목할 만하다고 생각하며, “현재로서는 최고 수준일 가능성이 높다”고 말했습니다. Kahng은 자신이 공동 주최했던 2016년 IEEE Design Automation Futures 워크숍을 회상합니다. 이 워크숍에는 당시 Google 엔지니어였던 Richard Ho가 기조 연사로 참여했습니다. Ho는 설계 자동화(design automation)에 대해 강한 의견을 가지고 있었고, 칩 설계를 완료하는 데 필요한 시간을 팀이 하루에 완료할 수 있는 반복(iteration) 횟수의 함수로 정의했습니다.

OpenAI의 LLM이 Jalapeño 설계를 가속화한 방법

칩 설계 분야에서 자동화(Automation)는 수십 년 동안 존재해 온 것이며, 새로운 문제가 아닙니다.”라고 University of Maryland의 반도체 이니셔티브 및 혁신 담당 디렉터인 Ankur Srivastava가 College Park에서 말했습니다. 하지만 LLM이 이전의 자동화 도구와 다른 점은 언어와 코드를 이해하는 능력입니다. 그는 이것이 “여전히 문제의 언어적 영역에 있는” 칩 설계 작업에 특히 적합하게 만든다고 말합니다.

OpenAI 팀은 이 강점을 활용하는 워크플로우를 설계했습니다. OpenAI의 프론트엔드(front-end) 워크플로우는 Google에서 원래 개발된 오픈 소스 고수준 합성 체인 도구인 Accelerated Hardware Synthesis (XLS)를 중심으로 구축되었습니다. 고수준 합성(High-level synthesis)은 엔지니어가 더 익숙한 프로그래밍 환경에서 칩을 설계할 수 있도록 하는 칩 설계 자동화의 한 형태입니다. XLS의 경우, 칩 디자이너가 DSLX(Rust에서 영감을 받은 도메인 특화 언어) 및 C++와 같은 언어로 작성할 수 있습니다. 이후 XLS는 이를 전자 시스템을 설명하는 데 사용되는 하드웨어 기술 언어인 Verilog로 변환합니다.

OpenAI의 기술 스태프 멤버인 Chris Leary는 “프로젝트를 더 빠르게 만들기 위해 AI를 활용하는 방법을 생각하고 있었는데, AI가 소프트웨어처럼 보이는 것들에 훨씬 더 능숙했습니다.”라며, “XLS는 어떤 면에서 소프트웨어처럼 보여서 그런 이점을 얻었습니다.”라고 말합니다. 또한 Leary는 Google 재직 시절에 XLS가 어떻게 작동해야 하는지에 대해 매우 익숙했기 때문에 도움이 되었습니다.

Kahng 역시 XLS와 같은 고수준 합성을 가속화하기 위해 AI를 사용하기로 한 결정이 타당하다고 동의하며, 이는 “LLM이 작업하기에 더 자연스럽고” 빠른 반복(iteration) 기회를 제공한다고 말합니다. 그는 “저는 이것을 일반적으로 유용한 워크플로우로 보며, 미래에도 ‘지속 가능한’ 것”이라고 말합니다.

같은 논리는 Jalapeño 팀이 소프트웨어 최적화에 집중하게 만들었습니다. 5월에 파운드리에서 첫 번째 칩들이 돌아왔을 때, 팀은 내부 AI 모델을 활용하여 SemiAnalysis의 InferenceX와 같은 벤치마크를 실행할 소프트웨어를 설계하는 데 초점을 맞췄습니다. DeepSeek의 멀티헤드 잠재 어텐션 커널(multi-head latent attention kernel) 벤치마크에서 성능은 이론적 한계(칩의 컴퓨트 및 메모리 대역폭에 의해 설정됨)의 0.31%에서 약 40시간 만에 88.94%까지 상승했습니다. Ho는 이 결과가 반복 가능하다며, 파운드리가 첫 번째 칩을 전달하는 시점과 생산이 본격화되는 시점 사이의 간격을 줄일 수 있다고 말합니다. 그는 “우리의 모든 일정 가정은 우리가 지금 이 역량을 갖추게 되었다는 사실에 기반할 것입니다”라고 말했습니다.

Jalapeño는 2,048개의 칩을 포함하는 파드(pod)에 배포되도록 설계되었습니다. OpenAI

비록 Jalapeño 팀의 AI 지원 워크플로우 전반적인 개요는 Ho와 Leary가 초기에 예측했지만, OpenAI 모델의 개선은 몇 가지 놀라운 점들을 제공했습니다.

Leary에 따르면, 이 프로젝트는 2025년 4월에 대중에게 공개된 (하지만 Jalapeño 팀에게는 더 일찍 사용 가능했던) OpenAI의 o3와 같은 모델의 도움을 받아 시작되었습니다. 하지만 프로젝트가 완료될 무렵에는, 팀은 2026년 9월 3일에야 공개된 GPT-6 Astra의 전신 모델에 접근할 수 있었습니다. Leary에 따르면, 이 새로운 모델은 일반 프로그래밍 언어에서 XLS로 번역할 필요 없이 Verilog에서 직접 작동할 수 있으며, 독점 설계 도구를 자체적으로 운영하는 것에 근접해 있습니다.

또한 그는 팀이 대중에게 공개되지 않은 칩 설계용으로 미세 조정된(fine-tuned) 내부 LLM에 접근할 수 있었다고 확인했습니다. 그는 사용된 모델의 세부 사항은 밝히기를 거부했습니다. 하지만 그는 Jalapeño 팀이 OpenAI 연구팀과 파트너십을 맺었다고 덧붙였습니다. Jalapeño 설계에 사용된 모든 특정 모델이 공개적으로 이용 가능한 것은 아니지만, Ho는 이 프로젝트에서 얻은 교훈들을 회사의 상업용 LLM에 접목하는 것이 목표라고 말했습니다. 그는 “Astra와 이후의 모델들은 칩 설계에 매우 능숙할 것이라고 확신합니다”라고 말했습니다.

AI가 백엔드 최적화에는 덜 유용했지만, 상황은 바뀔 수 있다

언급했듯이, Jalapeño에 대한 OpenAI 작업의 대부분은 '프론트 엔드(front end)' 설계에 초점을 맞추었으며, 이는 칩을 초기 개념부터 설계를 정의하는 RTL 코드 작성, 그리고 물리적으로 구현될 때 디자인이 작동할지 검증하는 작업까지 포괄합니다. 라우팅 인터커넥트(routing interconnects) 처리, 클럭 및 전력 사양 완성 및 검증, 필요한 설계 정보를 파운드리(foundry)로 전송하는 것과 같은 '백엔드(backend)' 설계의 상당 부분은 Broadcom에 맡겨졌고, Broadcom이 칩을 생산까지 이끌었습니다.

그렇다고 해서 OpenAI의 워크플로우가 백엔드를 무시했다는 의미는 아닙니다. Jalapeño 팀에는 물리적 설계 엔지니어들이 포함되어 있으며, 이들은 Broadcom의 동료들과 협력하여 칩의 플로어 플랜(floor plan) 및 라우팅 등에 대한 지침을 제공합니다.

IEEE Hot Chips 2026에서 Ho와 Leary는 AI가 안내하는 물리적 설계 최적화로부터 얻은 이점을 수치화했는데, 여기에는 인간이 최적화한 기준선과 비교하여 행렬 곱셈 유닛(matrix multiplication units)의 면적이 10% 감소했다는 내용이 포함됩니다. 즉, OpenAI는 AI가 안내하는 최적화를 통해 이전에는 불가능했을 것보다 더 많은 회로를 같은 실리콘 면적에 설계할 수 있도록 도왔다고 주장합니다.

Broadcom은 자체 내부 워크플로우를 사용했습니다. 이 회사 팀은 Jalapeño 설계를 돕기 위해 OpenAI가 사용한 내부 모델에는 접근할 수 없었지만, OpenAI의 공개적인 상업용 모델에는 접근할 수 있었습니다.

Verkor의 Ravi Krishna는 OpenAI가 백엔드 설계를 접근하는 방식이 이미 다소 보수적이라고 말합니다. 그는 이 프로젝트가 2024년 10월에 시작된 시점의 산물이라는 것이라고 믿습니다. 그는 “지난 4~5개월 동안 모델들이 개선되었습니다. 2026년 4월부터… 비로소 그러한 작업을 더 잘 처리할 수 있게 되었습니다”라고 말합니다. Verkor 공동 창립자인 Suresh Krishna도 동의하며, “프로세스의 백엔드를 크게 가속화하는 에이전트 루프(agentic loop)가 있을 이유가 없다”고 말했습니다.

Ho와 Leary는 또한 Jalapeño를 설계하는 데 사용된 워크플로우가 팀의 다음 노력과 비교했을 때 구식으로 보일 수 있음을 시사했습니다.

Leary는 “Jalapeño에서 알 수 있듯이, 우리는 최대한 빠르게 진행하려고 했습니다. 그래서 ‘혁신을 위해 시간을 들여야 할지, 아니면 역사적으로 작동하는 것을 해야 할지’ 사이의 상충 관계(trade-off)가 있습니다”라고 말합니다. “2세대에서는 우리가 준비하고 싶은 모든 것에 대해 물어볼 수 있는 일종의 재설정 기회(reset opportunity)를 갖게 되었습니다.”

Ho는 2세대 칩의 워크플로우에 “AI를 도입하는 많은 부분이 있다”고 말합니다. 그는 검증(verification)과 물리적 설계(physical design)에서 AI를 더 활용할 수 있는 기회들을 언급했습니다. Leary는 팀이 이제 자동 파형 조작 및 보기 도구(automatic waveform manipulation and viewing tools)를 갖추게 되었다고 덧붙였습니다. 이는 실패와 관련된 칩 클럭 신호를 식별하기 위해 분석을 자동화하여, 하드웨어를 설계하는 동안에도 디버깅을 개선할 수 있습니다.

이러한 예상되는 개선 사항들에도 불구하고, Ho와 Leary는 칩 설계가 완전히 자동화될 수 있다고 믿지 않는다는 점을 분명히 했습니다. Ho는 “누군가가 그냥 OpenAI의 코딩 플랫폼인 Codex만을 사용하여 최첨단(state-of-the-art) 프론티어 AI/ML 가속기 칩을 만들 수 있다는 의미는 아닙니다”라고 설명합니다. “우리가 말하는 것은 Codex를 더 잘 활용하는 방법과, 양질의 결과에 도달하기 위해 소규모 팀과 빠른 일정을 집중적으로 관리한다는 매우 구체적인 내용입니다.”

Matthew S. Smith는 17년 경력의 프리랜서 소비자 기술 저널리스트이며, 전 Digital Trends의 Lead Reviews Editor를 역임했습니다. IEEE Spectrum 기고 에디터로서 디스플레이 혁신, 인공지능(AI), 증강현실(AR)에 중점을 두고 소비자 기술을 다룹니다. 빈티지 컴퓨팅 애호가인 Matthew는 자신의 YouTube 채널 'Computer Gaming Yesterday'에서 레트로 컴퓨터와 비디오 게임을 다루고 있습니다.