18분 만에 이해하기 · 수준: 초보자용 · 데이터 검증일: 2026년 7월 10

배울 내용:

• OpenAI와 Broadcom이 제작한 Jalapeño 칩은 무엇인가 (2026년 6월 24일 발표 분석, 과장 없이)
• 추론 (Inference)용 ASIC이 Nvidia 그래픽 카드와 어떻게 다른가 - 쉬운 설명
• 정말 50% 더 저렴한가, 그리고 누가 그 수치를 말했는가 (스포일러: OpenAI가 아님)
• 이것이 Nvidia에 타격인가 아닌가 - 그리고 왜 시장은 미온적으로 반응했는가
• 다른 기업들은 누가 자체 칩을 만드는가: Google, Amazon, Microsoft, Meta - 하나의 표로 정리
• 이 모든 이야기가 러시아에 있는 당신에게 어떤 의미이며, 어떻게 OpenAI 모델에 대한 접근성을 유지할 것인가

핵심 요약. 2026년 6월 24일, OpenAI와 Broadcom은 OpenAI의 첫 자체 칩인 Jalapeño를 공개했습니다. 이것은 단 하나의 작업, 즉 이미 학습된 모델(ChatGPT, Codex, API)의 답변을 출력하는 추론 (Inference)을 위한 특화된 가속기 (ASIC)입니다. OpenAI의 플래그십 모델을 학습시키는 작업은 여전히 Nvidia의 그래픽 카드를 사용할 것입니다. 공식적으로 OpenAI는 와트당 효율성의 눈에 띄는 향상만을 약속했으며, "50% 더 저렴하다"는 자극적인 수치는 Broadcom의 CEO가 Bloomberg 인터뷰에서 언급한 것입니다. 아직 독립적인 벤치마크 (Benchmark)는 없습니다. 시장의 반응은 미온적이었습니다. Nvidia의 주가는 몇 퍼센트 흔들렸으나 곧 회복되었습니다. 따라서 "OpenAI가 Nvidia를 떠난다"라는 헤드라인은 절반만 맞습니다. 아래에서 무엇이 사실이고 무엇이 마케팅인지, 그리고 이것이 당신에게 어떤 의미인지 알아보겠습니다.

단 한 명의 임대인으로부터 사무실을 빌려 매년 수백억 원을 지불하고 있는데, 그 임대인이 당신이 임대료를 계속 감당할 수 있을지 의구심을 품으며 말하는 상황을 상상해 보십시오. 어느 순간 당신은 가장 빈번하게 발생하는 작업들을 처리하기 위해 자신만의 창고를 짓기로 결정합니다. 비싼 주인(임대인)을 거치지 않기 위해서 말이죠. 창고가 새로운 모델을 학습시키는 마천루를 대체할 수는 없습니다. 하지만 일상적인 루틴 작업은 직접 처리함으로써 비용을 줄일 수 있습니다.

Jalapeño 칩의 이야기는 한 단락으로 요약할 수 있습니다. Nvidia는 거의 모든 현대적 AI를 구동하는 그래픽 카드(GPU)를 제공하는 바로 그 임대업자입니다. OpenAI는 수년 동안 Nvidia로부터 수백억 달러 규모의 하드웨어를 구매해 왔으며, 동시에 동결과 해제를 반복하는 자금 협상을 진행해 왔습니다. OpenAI의 자체 칩 제작은 특화된 하드웨어(specialized hardware)에서 처리하는 것이 더 저렴한 워크로드(workload)의 일부를 직접 가져오려는 시도입니다. 집 전체가 아니라, 그중 일부를 말이죠.

저는 공식 발표 자료, Hacker News의 엔지니어들 간의 논쟁, 그리고 기술 전문 매체의 수치들을 분석하여, 검증된 사실과 화려한 헤드라인을 분리해 냈습니다. 이제 순서대로 살펴보겠습니다. 무엇을 보여주었는지, 이 칩이 무엇인지, 왜 필요한지, 정말로 절반 가격인지, Nvidia에 타격을 주는지, 그리고 러시아에서 OpenAI 모델을 사용하는 경우 어떻게 해야 하는지에 대해 다룹니다.

매주 저는 신경망(neural networks) 세계의 이러한 이야기들을 분석합니다. 누가 누구를 앞질렀는지, 무엇이 고장 났는지, 돈은 어디로 흐르는지를 말이죠. 놓치지 않으려면 구독하세요.

[구독 블록 - config에서 렌더링됨]

OpenAI와 Broadcom이 정확히 무엇을 보여주었나

핵심 요약. 2026년 6월 24일, OpenAI와 칩 제조사 Broadcom은 OpenAI가 직접 설계한 첫 번째 칩인 Jalapeño를 선보였습니다. 공식적으로 이 칩은 '인텔리전스 프로세서 (Intelligence Processor)'이자 '다년 단위 컴퓨팅 플랫폼의 첫 번째 AI 가속기 (AI-accelerator)'로 불립니다. 아키텍처(architecture)는 OpenAI가 설계했고, 실리콘 구현(silicon implementation)과 네트워킹은 Broadcom이 담당했습니다. 현재 칩은 테스트 단계에 있으며, 2026년 말까지 프로덕션(production) 환경에 배포될 예정입니다.

이미 많은 불필요한 정보가 쌓여 있으므로 사실부터 시작하겠습니다. 2026년 7월 10일 기준으로 알려진 내용과 그 출처는 다음과 같습니다.

표에 기재된 사실의 출처는 2026년 6월 24일자 OpenAI와 Broadcom의 공식 보도 자료 및 같은 날의 TechCrunch 기사입니다. 이후 본문에서는 논란이 될 수 있는 각 수치에 대해 출처가 어디인지, 그리고 얼마나 신뢰할 수 있는지 별도로 표시하겠습니다.

중요한 맥락: Jalapeño는 갑자기 나타난 것이 아닙니다. 이는 OpenAI와 Broadcom이 이미 2025년 10월 13일에 합의한 대규모 거래의 첫 번째 칩입니다. 당시 그들은 OpenAI가 설계한 10 기가와트 (GW) 규모의 가속기와 Broadcom의 Ethernet 기술 기반 네트워크에 대한 협업을 발표했습니다. 이 모든 것을 2026년 하반기부터 2029년 말까지 구축하겠다고 약속했습니다. Financial Times는 이 거래 규모를 3,500억~5,000억 달러로 평가했습니다 (공식적인 조건은 공개되지 않았습니다). 따라서 6월 24일에 공개된 것은 갑작스러운 아이디어가 아니라, 오래전에 발표된 건설 계획의 첫 번째 하드웨어입니다.

참고로 '10 기가와트'에 대해 말하자면, 이는 칩의 수량이 아니라 칩이 소비하는 전력을 의미합니다. 이해를 돕기 위해 설명하자면, 10 기가와트는 OpenAI의 데이터 센터만을 위해 가동되는 여러 개의 대형 원자력 발전 블록과 맞먹는 양입니다. 업계는 이미 오래전부터 연산 능력을 칩의 개수가 아닌 기가와트 단위로 계산해 왔는데, 이는 이제 실리콘(Silicon)이 아닌 에너지 문제에 직면했기 때문입니다. 이러한 거래가 매우 비싼 이유도 바로 여기에 있습니다. 본질적으로 발전소 전체의 수년간의 가동 능력을 구매하는 것이며, 칩이 담긴 박스는 부차적인 것에 불과합니다.

이 이야기에서 제품 측면의 핵심 인물은 OpenAI의 하드웨어 부문을 이끄는 Richard Ho입니다. 그의 말에 따르면, 이 칩은 "OpenAI 연구원들과의 긴밀한 협업을 통해 얻은 상세한 데이터를 바탕으로 대규모 언어 모델 (LLM)의 추론 (Inference)을 위해 처음부터 설계되었습니다" (OpenAI 보도자료, 2026년 6월 24일). 더 쉽게 말하면, OpenAI는 자사의 모델이 프로덕션 (Production) 환경에서 데이터를 어떻게 처리하는지 알고 있으며, 그 패턴에 정확히 맞춰 칩을 최적화했다는 뜻입니다.

OpenAI의 President인 Greg Brockman은 이 소식을 거대한 인프라 베팅의 일환으로 더 넓은 관점에서 발표했습니다:

"세상은 모든 것이 컴퓨팅에 달려 있는 경제로 전환되고 있습니다. Jalapeño는 풀 스택 인프라 (Full-stack infrastructure)를 구축하려는 우리의 장기 전략의 일부입니다. 컴퓨팅을 더 쉽게 만들어 AI가 사람과 기업 모두에게 더 빠르고, 더 신뢰할 수 있으며, 더 저렴해지도록 만드는 것이 목표입니다."

• Greg Brockman, OpenAI President 및 Co-founder, 보도자료, 2026년 6월 24일

«스택 (stack)»이라는 단어를 기억하세요 (스택은 모델부터 그 아래의 하드웨어까지 시스템의 모든 계층을 통칭합니다). OpenAI는 처음으로 가장 낮은 계층인 실리콘(silicon) 영역으로 내려가려 하고 있습니다. 이전까지 OpenAI는 모델을 담당하고 하드웨어는 구매해 왔습니다. 이제는 하드웨어까지 직접 제어하려고 시도하고 있습니다.

Jalapeño란 무엇이며, Nvidia 그래픽 카드와 무엇이 다른가요? (쉬운 설명)

핵심 요약. Jalapeño는 ASIC(주문형 반도체, Application-Specific Integrated Circuit)입니다. 즉, 하나의 좁은 특정 작업을 위해 설계된 칩입니다. 해당 작업에 있어서는 그래픽 카드보다 저렴하고 에너지 효율적이지만, 유연성이 떨어집니다. 다른 용도로 전환하여 사용할 수 없기 때문입니다. Nvidia의 그래픽 카드는 범용적(universal)이어서 학습(training)과 추론(inference)을 모두 수행할 수 있지만, 그 범용성에 대한 비용을 지불해야 합니다. 반면 Jalapeño는 이미 학습된 모델의 답변을 내보내는 작업인 추론(inference)에만 최적화되어 있습니다.

이 이야기의 중심이 되는 두 단어, 즉 추론(inference)과 ASIC을 먼저 살펴보겠습니다. 이 개념들을 모르면 이후 내용은 혼란스러울 수 있습니다.

학습(Training) vs 추론(Inference). 모든 신경망(neural network)에는 두 가지 삶의 단계가 있습니다. 먼저 학습 단계가 있습니다. 이는 모델이 수개월 동안 수천 개의 그래픽 카드를 사용하여 방대한 데이터를 소화하는, 일회성으로 발생하는 고강도의 건설 과정과 같습니다. 그 다음은 운영 단계입니다. 당신이 ChatGPT에 질문을 입력할 때마다 모델이 답변을 내놓는 과정입니다. 바로 이 답변을 내보내는 과정이 추론(inference)입니다. 학습이 일회성 건설이라면, 추론은 영구적인 공동주택 관리와 같습니다. 초당 수백만 번씩 지속적으로 발생하며, 시간이 흐를수록 비용 측면에서는 학습보다 추론이 더 큰 비중을 차지하게 됩니다.

Hacker News의 한 댓글 작성자는 그 어떤 보도자료보다 더 정확하게 이를 표현했습니다:

“학습은 본질적으로 일회성 지출이며, 그 효율성은 아키텍처 개선을 통해 이미 높아지고 있습니다. 반면 추론은 지속적인 비용이며, 시간이 지날수록 훨씬 더 많은 자원을 잡아먹습니다. 따라서 추론을 훨씬 더 효율적으로 만든다면, 시간이 흐를수록 얻게 되는 이득은 훨씬 더 클 것입니다.”

• 댓글 작성자 skeledrew, Hacker News의 발표 관련 토론 중, 2026년 6월 24일

ASIC 대 GPU. Nvidia 그래픽 카드 (영어로는 GPU)는 만능 병사입니다. 이는 학습(Training)과 추론(Inference)은 물론, 그래픽 계산과 채굴 등 대규모 병렬 연산이 필요한 모든 작업에 능숙합니다. 반면 ASIC은 정반대로 좁은 분야의 전문가입니다. 즉, 단 하나의 특정 작업을 위해 설계된 칩입니다. 자신의 작업에서는 더 빠르고 경제적이지만, 범위를 조금만 벗어나도 무용지물이 됩니다. Jalapeño는 언어 모델의 추론 (Inference)을 위한 ASIC입니다.

마지막 줄이 중요한데, 이 부분은 자주 간과되곤 합니다. Jalapeño는 구매할 수도, 대여할 수도 없습니다. 이것은 OpenAI가 자체 데이터 센터에서 사용하기 위해 만든 내부 하드웨어입니다. Nvidia 그래픽 카드를 대여하는 것처럼 자신의 서버에 설치하거나 클라우드에서 빌려 쓸 수 없습니다. 적어도 현재로서는 그런 계획이 없습니다 (이는 전문 분석 매체들과 OpenAI의 공식적인 표현을 통해서도 확인됩니다).

왜 전문화가 추론 (Inference) 단계에서 이득을 줄까요? 여기에는 잘 설명되지 않는 미묘한 차이가 있습니다. 모델이 답변을 생성할 때 가장 큰 병목 현상 (Bottleneck)은 연산 자체라기보다, 칩이 메모리에서 데이터를 가져오고 다시 내보내는 속도에 있습니다. 범용 그래픽 카드는 수많은 시나리오를 동시에 처리하기 위해 트랜지스터를 소모합니다. 반면 추론용 ASIC은 거의 모든 하드웨어가 모델의 가중치 (Weights)를 메모리를 통해 전달하는 작업에만 집중하도록 설계할 수 있습니다. 업계 데이터에 따르면, Jalapeño는 순수한 연산 성능(Raw compute)보다는 메모리 대역폭 (Memory Bandwidth)에 중점을 두어 제작되었습니다 (Tom's Hardware 및 기타 전문 매체, 2026년 6월; OpenAI는 공식적으로 세부 사항을 공개하지 않음). 여기서 약속된 와트당 성능 (Performance per watt)의 이점이 발생합니다.

⚠️ 두 가지를 혼동하지 마세요. "OpenAI가 자체 칩을 만들었다"는 사실입니다. 하지만 "OpenAI가 더 이상 Nvidia에 의존하지 않는다"는 사실이 아닙니다. Jalapeño는 오직 추론 (Inference)만을 담당합니다. OpenAI의 새로운 플래그십 모델을 학습 (Training)시키는 데는 계속해서 Nvidia를 사용할 것입니다. OpenAI 스스로도 Nvidia를 "특히 학습에 있어 핵심적인 파트너"라고 부르고 있습니다. 이는 사소한 문제가 아닙니다. 바로 이 디테일을 거의 모든 자극적인 헤드라인들이 놓치고 있습니다.

[Exhibit 1: 추론 (Inference) vs 학습 (Training) - Jalapeño가 가져가는 것과 Nvidia에 남는 것]

모든 AI가 Nvidia 위에서 돌아가는데, OpenAI는 왜 자체 칩을 만들까요?

핵심 요약. 돈 때문입니다. 추론 (Inference)은 OpenAI에서 가장 빠르게 증가하는 비용 항목이며, 이를 비싼 범용 그래픽 카드(GPU)로 구동하는 것은 과도한 비용 지출입니다. 추론을 위한 OpenAI의 자체 칩은 모델의 응답 하나당 발생하는 원가를 낮춰줍니다. 분석가들은 이를 "마진 보호 (Protecting margins)"라고 부릅니다. OpenAI는 자체 경제성을 수선하고 있는 것이지, 그래픽 카드 시장 전쟁을 선포한 것이 아닙니다.

첫 번째 이유는 유닛 경제성 (Unit economics)입니다. OpenAI는 거대한 컴퓨팅 비용을 지출하고 있으며, 그 중 상당 부분은 매일 수억 건의 ChatGPT 및 API 요청을 처리하는 추론 (Inference)에 해당합니다. 모델의 응답 하나하나에는 비용이 발생합니다. 범용 그래픽 카드와 이 응답에 딱 맞춰 설계된 전용 칩을 사용하여 응답 하나당 비용을 계산해 보면, 특화된 칩이 승리합니다.

이와 동일한 논점이 Hacker News에서도 이 작업이 왜 필요한지에 대해 논의될 때 등장했습니다:

"현재 추론 (Inference) 비용이 학습 (Training) 비용보다 높습니다. Nvidia는 학습을 위한 범용 칩의 제왕입니다. 하지만 추론은 특화할 수 있습니다."

• 댓글 작성자 forrestthewoods, 2026년 6월 24일 Hacker News의 발표 토론 중

두 번째 이유는 협상에서의 독립성입니다. 비즈니스 전체가 단일 공급업체의 하드웨어에 의존하고 있다면, 당신은 약한 위치에 있게 됩니다. 자체 칩은 하나의 레버리지(지렛대)입니다. 비록 그것이 모든 것을 대체하지 못하더라도, 대안이 물리적으로 존재한다는 것을 Nvidia에 보여줍니다. 또한 이는 HN에서 고전적인 인용구를 통해 언급된 철학이기도 합니다:

"소프트웨어를 진지하게 다루는 사람들은 자신만의 하드웨어를 만들어야 합니다."

• Alan Kay (개인용 컴퓨터의 개척자), 2026년 6월 24일 Hacker News 토론 중 인용

Apple은 자체 프로세서로, Google은 자체 칩으로, 그리고 Tesla도 이와 같은 길을 걸어왔습니다. 논리는 동일합니다. 소프트웨어가 당신에게 결정적이라면, 머지않아 당신은 그 소프트웨어에 최적화된 하드웨어를 원하게 될 것입니다.

단순한 개당 가격보다 더 깊은 논거가 존재합니다. SemiAnalysis의 분석가 Dylan Patel은 오랫동안 한 가지 생각을 반복해 왔습니다. AI 분야에서의 주요 이점은 단순히 빠른 칩 그 자체에서 오는 것이 아니라, 모델(Model), 코드(Code), 그리고 하드웨어(Hardware)를 서로에게 맞춰 함께 날카롭게 다듬는(Co-optimization) 과정에서 옵니다. '여기서 2배, 저기서 2배'가 결합될 때, 결과적으로 100배의 이득이 발생합니다 (Sequoia Capital 팟캐스트, 2026). 이는 공동 설계(Co-design)에 관한 일반적인 논지이며, 반드시 Jalapeño에 국한된 의견은 아니지만, OpenAI가 적용하려고 시도하는 논리가 바로 이것입니다. OpenAI는 자신의 모델을 내부 구조부터 완벽히 이해하고 있으므로, 모든 이를 위해 범용 하드웨어를 만드는 Nvidia보다 자신의 모델에 칩을 더 밀접하게 맞춤화(Tailor)할 수 있습니다.

이를 어떻게 정직하게 표현할 수 있을까요? 제가 접한 가장 훌륭한 표현은 독립 분석가 Noah Bin의 말입니다: Jalapeño는 "Nvidia를 죽이는 것이 아니라, 마진(Margin)을 보호하기 위한 시스템"입니다 (Medium 칼럼, 2026년 6월 26일). 이는 기관 분석가가 아닌 블로거의 의견이지만, 그는 핵심 프레임을 정확히 포착했습니다. OpenAI는 그래픽 카드 시장 점유율을 두고 전쟁을 벌이는 것이 아니라, 자사의 경제성을 보완하고 있는 것입니다.

자체 칩을 갖는다는 것은 "우리가 Nvidia를 이겼다"가 아니라, "우리가 가장 빈번하게 발생하는 연산에 대해 과도한 비용을 지불하는 것을 멈췄다"는 의미입니다.

OpenAI의 하드웨어에 관한 글이 아니라, 모델을 직접 다루고 싶다면?

이 모든 실리콘(Silicon) 이야기는 OpenAI의 무대 뒤편 이야기입니다. 사용자나 개발자인 당신에게 더 중요한 것은 이 하드웨어 위에서 구동되는 모델 그 자체에 대한 접근성입니다. 그리고 러시아에서의 접근은 별개의 문제입니다. OpenAI는 카드가 승인되지 않으며, 일부 서비스는 열리지 않습니다.