원래 twarx.com에서 게시되었습니다 - 전체 인터랙티브 버전은 그곳에서 읽을 수 있습니다.

최종 업데이트: 2026년 6월 24일

지난 분기에 제가 디버깅을 도왔던 6단계 에이전트(agent)는 모든 데모를 통과했지만, 실제 트래픽이 발생하는 순간 6번 중 약 1번꼴로 실패했습니다. 아무도 모델을 건드리지 않았습니다. 아무도 칩을 건드리지 않았습니다. 모델 호출은 빠르고 저렴했습니다. 시스템은 여전히 고장 난 상태였습니다 — 그리고 그 격차는 바로 OpenAI의 새로운 Jalapeño AI 기술이 해결하지 못하는 지점입니다.

2026년 6월 24일, OpenAI와 Broadcom은 대규모 언어 모델(LLM) 추론(inference)을 위해 특수 제작된 맞춤형 AI 기술 칩인 Jalapeño를 소개했습니다. 학습(training)이 아닌 추론(inference)이야말로 생산용 AI 비용의 압도적인 대다수가 발생하는 지점이며, LangGraph, AutoGen, CrewAI를 기반으로 구축된 멀티 에이전트 시스템(multi-agent systems)이 조용히 돈을 낭비하는 지점입니다. 이 글을 끝까지 읽으시면 Jalapeño가 무엇인지, 추론 파이프라인(inference-pipeline) 수준에서 어떻게 작동하는지, 그리고 왜 더 빠른 실리콘(silicon)이 여러분의 실제 병목 현상을 해결하지 못하는지 알게 될 것입니다.

요약

Jalapeño는 오직 LLM 추론만을 위해 구축된 OpenAI-Broadcom 맞춤형 ASIC으로, 프롬프트를 토큰(token)으로 변환하는 프리필(prefill) 및 디코드(decode) 단계를 가속화하여 비용과 지연 시간(latency)을 낮춥니다. 하지만 운영 환경에서의 신뢰성은 호출 내부가 아니라 호출 사이에서 무너집니다. 빠른 추론과 신뢰할 수 있는 체이닝(chaining) 사이의 그 격차가 바로 AI 조정 격차(AI Coordination Gap)입니다.

OpenAI와 Broadcom의 Jalapeño는 학습(training)이 아닌 LLM 추론(inference) 워크로드만을 위해 특별히 구축된 맞춤형 가속기(accelerator)로, 이 AI 기술이 대규모로 배포되는 방식의 변화를 나타냅니다. 출처

OpenAI가 실제로 발표한 내용은 무엇이며, 왜 이것이 추론(Inference)을 변화시키는가?

중요한 사실은 이것입니다: OpenAI는 이제 단순히 컴퓨팅 자원(Compute)을 구매하는 곳이 아니라, 자체 실리콘(Silicon)을 공동 설계(Co-design)하고 있습니다. 공식 발표에 따르면 Jalapeño는 'AI 시스템 전반의 성능, 효율성 및 규모를 개선하기 위해 LLM 추론(Inference)용으로 구축된 맞춤형 AI 칩'으로 설명됩니다.

핵심이 되는 단어는 **추론 (Inference)**입니다. 훈련(Training)은 모델을 단 한 번 구축하는 과정입니다. 반면 추론은 모델을 수십억 번 실행합니다 — 모든 채팅 완성, 모든 에이전트 단계, 그리고 모델에 컨텍스트를 다시 공급하는 모든 RAG 검색(Retrieval)이 이에 해당합니다. 생애 주기 중 추론 단계에 전용 실리콘을 구축한다는 것은, 모델을 만드는 것뿐만 아니라 모델을 실행하는 경제학이 다음 경쟁 전쟁의 격전지가 될 것임을 시사합니다.

여기서 저는 한 가지 관점을 제시하고자 합니다: 더 빠른 추론 칩은 개별 모델 호출을 더 저렴하고 빠르게 만들지만, 실제 프로덕션 AI 시스템을 망가뜨리는 실패 모드(Failure mode)에 대해서는 거의 아무런 해결책도 제시하지 못합니다. 그 실패 모드는 바로 조정(Coordination)이며, 이는 이름을 붙일 가치가 있습니다.

새로운 프레임워크

AI 조정 격차 (The AI Coordination Gap)

AI 조정 격차(AI Coordination Gap)란 단일 AI 추론을 실행할 수 있는 속도와, 여러 추론을 하나의 작동하는 시스템으로 얼마나 신뢰성 있게 체이닝(Chaining)할 수 있는가 사이의 벌어지는 간극을 의미합니다. Jalapeño는 호출당 지연 시간(Latency)은 줄여주지만, 이 격차에 대해서는 아무런 역할을 하지 못합니다.

심층 분석에 들어가기에 앞서, 구체적인 수치를 살펴보겠습니다. (사전 주의 사항: OpenAI는 데이터시트를 공개하지 않았으므로, 아래의 칩 관련 내용은 확정된 사양이 아닌 엔지니어링 추론(Engineering inference)임을 명시합니다.)

~90%
배포된 모델의 생애 주기 컴퓨팅 비용 중 훈련이 아닌 추론에 소비되는 비중
[Andreessen Horowitz, AI 컴퓨팅 비용 분석, 2023](https://a16z.com/navigating-the-high-cost-of-ai-compute/)
...

세 번째 숫자는 모든 것을 재정의합니다. 이것은 단순한 과학 프로젝트가 아닙니다. 기업용 AI (enterprise AI)를 운영하는 데 있어 가장 비용이 많이 드는 부분을 수직 계열화(vertically integrate)하려는 산업 규모의 도박입니다. LLM 시대를 정의한 회사가 자체적인 추론 가속기(inference accelerators)를 테이프 아웃(taping out)하기 시작하면, 공급망이 변화하며, 여러분이 엔지니어링 시간을 어디에 투입해야 하는지도 함께 변화합니다.

0.976 = 0.83
각각 97%의 신뢰도를 가진 6단계가 결합되면, 엔드 투 엔드(end-to-end) 신뢰도는 83%가 됩니다. 이것이 바로 산술식 한 줄로 표현된 조정 격차(Coordination Gap)입니다. 더 빠른 칩이라 할지라도 이 숫자를 바꿀 수는 없습니다.

OpenAI는 벤치마크에서 승리하기 위해 칩을 만든 것이 아닙니다. 추론(inference)이 이제 제조 문제(manufacturing problem)가 되었기 때문에 칩을 만든 것이며, 제조 문제는 수직 계열화를 통해 해결됩니다.

Jalapeño 칩이란 무엇인가? 비전문가를 위한 설명

여러분의 AI 모델을 요리사라고 상상해 보세요. 훈련(Training)은 그 요리사가 요리 학교에서 보낸 수년의 시간과 같습니다. 비싸고, 일회적이며, 강도 높습니다. 추론(Inference)은 요리사가 고객이 주문할 때마다 각각의 요리를 만드는 과정입니다. Jalapeño는 요리사가 요리 학교에 다시 다닐 필요 없이, 주문받은 각 요리를 더 빠르고, 더 저렴하며, 훨씬 더 많은 양으로 요리할 수 있도록 재설계된 주방입니다.

기술적인 용어로 말하자면, Jalapeño는 Broadcom과 OpenAI가 공동 설계한 맞춤형 AI 가속기(ASIC — 주문형 반도체, application-specific integrated circuit)로, LLM 추론의 수학적 패턴에 최적화되어 있습니다. 즉, 모델이 토큰(token)을 생성할 때마다 발생하는 행렬 곱셈(matrix multiplications), 어텐션 연산(attention operations), 그리고 키-값 캐시 조회(key-value cache lookups)에 최적화된 것입니다. 발표 내용에 따르면, 이 칩은 'AI 시스템 전반의 성능, 효율성 및 규모를 개선하기 위해 LLM 추론용으로 구축되었습니다.'

학습(training), 그래픽, 과학적 계산(scientific computing), 그리고 추론(inference)을 위해 충분한 유연성을 갖춰야 하는 범용 GPU(NVIDIA의 H100 또는 B200)와 달리, 추론 특화 ASIC(Application-Specific Integrated Circuit)은 필요하지 않은 모든 것을 제거하고 모든 트랜지스터를 단 하나의 작업, 즉 가장 낮은 토큰당 비용(cost-per-token)과 지연 시간(latency)으로 프롬프트를 출력 토큰으로 변환하는 데 쏟아붓습니다. (여담으로 언급할 만한 점은 — '셰프가 라인 쿡(line cook)이 되는 것'과 같은 동일한 전문화 방식이 바로 몇 년 전 Google의 TPU가 자체 서빙 플릿(serving fleet)을 위해 GPU보다 더 경제적인 선택이 되었던 이유입니다. 역사는 여기서 반복됩니다.)

범용 GPU가 맥가이버 칼(Swiss Army knife)이라면, Jalapeño는 메스(scalpel)입니다. 실제 운영 환경의 추론(production inference)에서 메스는 토큰당 비용 측면에서 승리하지만, 이는 오직 해당 메스가 날카롭게 갈려 있는 특정 워크로드(workload)에 대해서만 해당됩니다.

소상공인에게 이 변화의 의미는 간단합니다. 시간이 지남에 따라 OpenAI API를 통해 지불하는 백만 토큰당 가격은 낮아지고, 에이전트(agent)와 챗봇(chatbot)이 응답하는 속도는 빨라질 것입니다. 이는 OpenAI가 모든 칩을 제3자로부터 임대하는 대신, 자체 비용 구조를 더 많이 통제하게 되기 때문입니다.

Jalapeño와 같은 특화된 추론 ASIC은 유연성을 효율성(efficiency)과 맞바꿉니다. 이는 차세대 추론 AI 기술 인프라를 정의하는 핵심적인 트레이드오프(trade-off)입니다. 출처

추론 파이프라인(Inference Pipeline)은 어떻게 작동하며, Jalapeño는 어디에 위치하는가?

Jalapeño가 어디에 위치하는지 이해하려면, AI 시스템이 요청에 응답할 때 실제로 어떤 일이 일어나는지 이해해야 합니다. 대부분의 사람들은 '모델이 질문에 답한다'고 생각합니다. 하지만 실제로 운영되는 AI 시스템은 별개의 작업들이 연결된 체인(chain)이며, 칩은 그 체인의 단 하나의 링크만을 가속화할 뿐입니다.

운영 환경의 AI 요청 흐름 — 그리고 Jalapeño의 위치

  1

    **요청 유입 (Request Ingress, API Gateway)**

사용자 또는 에이전트가 프롬프트 (Prompt)를 전송합니다. 라우팅 (Routing), 인증 (Auth), 그리고 속도 제한 (Rate limiting)이 여기서 발생합니다. 지연 시간 (Latency): 5–30ms. 아직 칩이 관여하지 않습니다.

↓

  2
...

Pinecone 또는 유사한 도구를 통한 벡터 검색 (Vector search)이 관련 청크 (Chunks)를 검색하며, 대화 메모리 (Conversation memory)와 도구 정의 (Tool definitions)가 프롬프트에 결합됩니다. 지연 시간 (Latency): 20–200ms. 이것은 오케스트레이션 (Orchestration) 단계이며, 실리콘 (Silicon) 단계가 아닙니다.

↓

  3
...

모델이 전체 입력 프롬프트를 병렬로 처리하며 KV 캐시 (KV cache)를 구축합니다. 이것은 연산 집약적인 행렬 수학 (Matrix math)이며, 바로 Jalapeño의 ASIC이 최적화되어 있는 부분입니다. 더 빠른 프리필 (Prefill) = 더 빠른 첫 번째 토큰 생성 시간 (Time-to-first-token).

↓

  4
...

토큰이 하나씩 생성되며, 각 토큰은 KV 캐시를 읽습니다. 여기서는 메모리 대역폭 (Memory bandwidth)이 지배적입니다. 추론 특화 칩 (Inference-specialized chip)은 달러당 초당 토큰 수 (Tokens-per-second-per-dollar)를 극대화합니다.

↓

  5
...

모델 출력이 함수 호출 (Function call), 다른 에이전트로의 인계 (Handoff), 또는 재계획 (Re-plan)을 트리거합니다. 각 인계는 새로운 실패 지점 (Failure surface)이 됩니다. 잘못된 형식의 JSON 도구 호출이나 환각 (Hallucination)된 인자 (Argument)를 칩이 해결해 줄 수는 없습니다.

↓

  6
...

답변이 반환되기 전 스키마 검증 (Schema validation), 가드레일 (Guardrails), 그리고 포맷팅 (Formatting)이 이루어집니다. 지연 시간 (Latency): 5–50ms. 다시 오케스트레이션 (Orchestration) 계층입니다.

Jalapeño는 단계 3과 4 — 즉, 가공되지 않은 모델 수학 — 를 가속화하지만, 프로덕션의 신뢰성은 AI 조정 격차 (AI Coordination Gap)가 존재하는 단계 2와 5에서 결정됩니다.

이 다이어그램은 전체 논지를 하나의 이미지로 보여줍니다. Jalapeño는 단계 3과 4를 더 빠르고 저렴하게 만듭니다. 하지만 프로덕션 환경에서 멀티 에이전트 시스템 (multi-agent systems)을 배포해 본 시니어 엔지니어에게 파이프라인이 실제로 어디에서 깨지는지 묻는다면, 그들은 매번 단계 2와 5를 지목할 것입니다.

조어된 프레임워크 (Coined Framework)

AI 조정 격차 (The AI Coordination Gap, 적용 사례)

모든 추론 (Inference)을 2배 더 빠르게 만들더라도 시스템의 엔드투엔드 (End-to-end) 신뢰성은 여전히 낮을 수 있습니다. 신뢰성은 인계 (Handoff)를 거치며 곱연산으로 누적되는 반면, 속도는 호출 내에서 선형적으로만 더해지기 때문입니다. 더 빠른 실리콘 (Silicon)과 더 나은 조정 (Coordination)은 완전히 다른 축입니다.

Jalapeño가 실제로 제공하는 것은 무엇인가 — 그리고 제공하지 못하는 것은 무엇인가?

공식 발표와 확립된 추론용 ASIC (Application-Specific Integrated Circuit)의 물리적 특성을 바탕으로, Jalapeño와 같이 LLM (Large Language Model)에 최적화된 추론 칩이 목표로 하는 바는 다음과 같습니다. 저는 확인된 사항과 기존 ASIC 엔지니어링을 통해 추론된 사항을 명확히 구분하겠습니다.

공식 소스를 통해 확인된 사항:

• 공식 OpenAI 발표에 따르면, (학습이 아닌) **LLM 추론 (Inference)**을 위해 특수 제작되었습니다.
• 성능 (Performance) (처리량/지연 시간) 개선을 위해 설계되었습니다.
• 효율성 (Efficiency) (토큰당 에너지 및 비용) 개선을 위해 설계되었습니다.
• AI 시스템 전반의 확장성 (Scale across AI systems) (플릿 단위 배포) 개선을 위해 설계되었습니다.
• 커스텀 ASIC 및 네트워킹 실리콘 분야의 선두주자인 Broadcom과 공동 개발되었습니다.

추론용 ASIC이 설계되는 방식을 통해 추론된 사항 (확인된 사양은 아니며 분석 결과임):

• 프리필 (Prefill) 단계를 가속화하여 첫 번째 토큰 생성 시간 (Time-to-first-token)을 낮추기 위해 최적화된 행렬 곱셈 (Matrix-multiply) 및 어텐션 (Attention) 유닛을 갖추고 있습니다.
• 메모리 대역폭 제한을 받는 디코딩 (Decode) 단계를 가속화하여 초당 토큰 수 (Tokens-per-second)를 높이기 위한 높은 메모리 대역폭을 제공합니다.
• 범용 GPU에 비해 토큰당 전력 소모가 낮을 가능성이 높습니다 — 이는 모든 추론용 ASIC의 핵심적인 경제적 논거입니다.
• OpenAI 자체 모델 아키텍처와 긴밀하게 통합되어 있으며, 이는 칩과 모델이 공동 최적화 (Co-optimized)됨을 의미합니다.

수직 계열화된 칩의 가장 가치 있는 점은 실리콘 그 자체가 아니라, OpenAI가 이제 모델과 칩을 동시에 변경할 수 있다는 것입니다. 이러한 공동 설계 (Co-design) 루프는 순수 GPU 기반 업체들이 구조적으로 따라올 수 없는 부분입니다.

Jalapeño가 명시적으로 하지 않는 것: 에이전트를 오케스트레이션 (Orchestrate)하지 않으며, 도구 호출 (Tool calls)을 관리하지 않고, 검색 (Retrieval)을 처리하지 않으며, 다단계 워크플로우의 신뢰성을 개선하지도 않습니다. 그러한 기능들은 여러분의 오케스트레이션 계층 (Orchestration layer)에서 이루어집니다 — 이 사실은 본 기사의 나머지 부분을 관통하는 핵심 축이 됩니다.

실제로 Jalapeño에 어떻게 접근하고 사용할 수 있는가?

시니어 엔지니어들이 필요로 하는 솔직한 답변은 다음과 같습니다: 여러분은 Jalapeño를 직접 만질 일이 거의 확실히 없을 것입니다. 어떤 클라우드에서든 대여할 수 있는 NVIDIA GPU와 달리, Jalapeño는 OpenAI 자체 서빙 플릿 (serving fleet)을 위한 내부 인프라로 보입니다. 이는 Google의 TPU나 AWS의 Inferentia/Trainium이 초기에 가졌던 모델과 동일합니다.

실질적인 의미는 다음과 같습니다:

실제로 Jalapeño를 '사용'하는 방법 — API를 통해, 변경 사항 없이

여러분은 Jalapeño를 프로비저닝 (provision)하지 않습니다. 여러분은 OpenAI API를 호출합니다.

Jalapeño는 여러분의 모델 호출 뒤에서 조용히 추론 (inference)을 구동합니다.

from openai import OpenAI
client = OpenAI()