지능 경쟁에는 두 가지 전선이 있습니다: 실리콘(Silicon)과 소프트웨어(Software)입니다. 현재 기술 분야에서 실제로 무엇이 병목 현상(Bottleneck)인지를 이해하는 것이 가장 중요한 질문일 수 있습니다. VEKTOR Memory — 읽기 시간: 18분 차트 확인: https://medium.com/@vektormemory/who-wins-the-future-chips-vs-frontier-llms-1e8e0ca42641 2026년 초에 기묘한 일이 일어났습니다. Anthropic의 Claude Code가 SemiAnalysis가 명명한 "Claude Code 변곡점(Inflection Point)"을 넘어섰습니다. 개발자들은 AI를 도구로 취급하는 것을 멈추고 동료로 취급하기 시작했습니다. 심지어 더 똑똑한 모델이 출시되었을 때조차, 그 모델이 너무 느리다는 이유로 더 낮은 사양의 모델을 사용하기를 적극적으로 거부했습니다. SemiAnalysis AI 지출의 80%가 4월에 연간 1,000만 달러로 정점을 찍었으며, 그 중 거의 대부분이 Opus 4.6 Fast에 집중되었습니다. 가장 똑똑한 모델이 아니었습니다. 가장 빠른 모델이었습니다. 이 단 하나의 데이터 포인트는 향후 5년간의 AI 산업을 바라보는 관점을 재편합니다. 지난 10년 동안 지배적인 서사는 다음과 같았습니다: 가장 유능한 모델을 만드는 자가 승리한다. 역량(Capability)이 축이었습니다. 원시 지능(Raw intelligence), 벤치마크 점수, MMLU 백분율 등이 기준이었습니다. 경쟁은 모델 연구소들 사이에서 벌어졌습니다 — OpenAI 대 Anthropic 대 Google. 칩(Chips)은 인프라(Infrastructure)였습니다. 지루하고, 조력자일 뿐인 존재였습니다. 이제 그 서사가 눈에 띄게 균열을 일으키고 있습니다. 진짜 경쟁은 3차원이 되었습니다: 지능(Intelligence) × 속도(Speed) × 비용(Cost). 그리고 하드웨어, 즉 이 모델들이 구동되는 실리콘 기질(Silicon substrate)을 통제하는 기업들은 18개월 전 그 누구도 예상하지 못했던 훨씬 더 큰 영향력(Leverage)을 갑자기 갖게 되었습니다. NVIDIA가 여전히 지배하고 있지만, Cerebras는 최근 OpenAI와 246억 달러 규모의 백로그(Backlog) 계약을 체결했습니다. TSMC는 수율(Yield)을 확보하며 WSE-3 웨이퍼를 제조할 수 있는 지구상의 유일한 기업입니다. Tesla의 Dojo는 NVIDIA를 긴장하게 만들 정도의 속도로 컴퓨팅 자원(Compute)을 소비하고 있습니다. 그리고 DeepSeek는 알고리즘 효율성(Algorithmic efficiency)이 하드웨어만으로는 메울 수 없는 격차를 좁힐 수 있다는 것을 증명했습니다. 이 글은 2026년 5월 현재 사용 가능한 최선의 공개 데이터를 사용하여 칩, 프론티어 모델(Frontier models), 그리고 이들을 연결하는 메모리 인프라(Memory infrastructure)라는 세 갈래의 경쟁 구도를 그려내려는 시도입니다.

우리는 산업 및 지역별 AI 도입 곡선(Adoption curves)을 정량화하고, '빠른 토큰(fast tokens)' 대 '스마트 토큰(smart tokens)' 이면에 숨겨진 실제 추론 경제학(Inference economics)을 살펴볼 것이며, 하드웨어 로드맵(Hardware roadmaps)을 추적하고, 실제로 중요한 질문을 던질 것입니다. 즉, 지능의 격차(Intelligence gap)가 좁혀질 때 누가 마진(Margin)을 확보할 것인가 하는 점입니다. 또한, 우리의 메모리 연구에서 발견되었으며 이 이야기의 핵심임이 드러난 놀라운 사실을 다시 짚어볼 것입니다. AI 에이전트(AI agents)가 무언가를 잊어버리는 이유는 단순히 소프트웨어 문제만이 아닙니다. 그것은 소프트웨어의 가면을 쓰고 있는 하드웨어의 제약(Hardware constraint)입니다.

도입 곡선(The Adoption Curve): 현재 데이터의 평균
칩(Chips)과 모델(Models)로 넘어가기 전에, 우리는 전장을 확정해야 합니다. 이 시장은 실제로 얼마나 클까요? 거대합니다. 유럽 국가 하나의 GDP만큼이나 큽니다. 2026년 1분기 데이터(McKinsey, Microsoft AI Diffusion Report, Gartner, OECD ICT Database, Stanford HAI)를 여러 출처에서 종합한 주요 수치는 다음과 같습니다. 미국의 기업 대 인구 도입 격차(Enterprise-to-population adoption gap)가 가장 시사하는 바가 큰 통계입니다. 대기업의 88%가 최소 하나 이상의 기능에 AI를 배치했지만, 생산 가능 인구의 31%만이 이를 사용하고 있습니다. 대기업의 병목 현상(Bottleneck)은 더 이상 의지나 예산의 문제가 아닙니다. 그것은 추론 비용(Inference cost), 지연 시간(Latency), 그리고 컨텍스트 윈도우(Context window)의 제한이며, 이 모든 것은 하드웨어 문제입니다. 대기업의 도입은 정체된 반면 소기업은 여전히 가속화되고 있는데, 이러한 역전 현상은 연방준비제도(Federal Reserve)의 FEDS Notes가 2026년 4월 모니터링 데이터에서 전례 없는 것으로 지적한 바 있습니다. 직원 수 10명에서 100명 사이의 기업 내 AI 도입률은 단 1년 만에 47%에서 68%로 급증했습니다. 한때 엔지니어링 팀이 필요했던 도구들이 이제는 월 20달러의 구독료로 실행됩니다. [차트: 2017-2026 AI 도입 곡선, 여러 출처의 종합 평균값. 기업용 AI(Enterprise AI) 라인은 20%에서 88%로 상승. 생성형 AI(Generative AI) 라인은 33%에서 71%로 상승(2023-2026). 인구 수준(Population-level)은 약 12%에서 31%로 상승(2024-2026).]

출처: McKinsey, Microsoft, Gartner, OECD, Stanford HAI. 처리량(Throughput) vs 상호작용성(Interactivity): 근본적인 트레이드오프(Tradeoff). 칩 전쟁을 이해하려면, 먼저 NVIDIA의 Jensen Huang이 올해 GTC 기조 연설의 핵심 주제로 삼았던 추론 트레이드오프(inference tradeoff)를 이해해야 합니다. LLM 추론을 실행하는 모든 GPU 클러스터는 이분법적인 선택에 직면합니다. 한 명의 사용자에게 매우 빠르게 서비스를 제공하거나, 아니면 많은 사용자에게 느리게 서비스를 제공하는 것입니다. 이것이 바로 처리량-상호작용성 경계(throughput-interactivity frontier)입니다. 처리량(Throughput)은 GPU당 초당 토큰 수입니다. 상호작용성(Interactivity)은 사용자당 초당 토큰 수입니다. 배치 크기(batch size), 즉 동시에 서비스하는 동시 접속 사용자 수를 변경함으로써 이 사이를 이동할 수 있습니다. 차트는 두 개의 패널로 모든 이야기를 보여줍니다. Cerebras는 단일 사용자 상호작용성 측면에서 비교할 수 없을 정도로 빠릅니다. WSE-3 하드웨어에서 실행되는 GPT-5.3-Codex-Spark는 사용자당 초당 최대 2,000개의 토큰을 전달하며, 이는 GPU 기반 추론과 비교하면 말 그대로 측정 범위를 벗어나는 수준입니다. 하지만 웨이퍼 내 SRAM(on-wafer SRAM)이 44GB라는 점은 실제로는 약 120B(1,200억) 파라미터보다 큰 모델을 담을 수 없음을 의미합니다. 반면, 단일 GB300 NVL72 랙은 20테라바이트의 HBM을 보유하고 있어, 적절한 배치 크기에서 긴 컨텍스트(long context)를 가진 1T+(1조) 이상의 파라미터 모델을 서비스하기에 충분합니다. 이들은 경쟁 제품이 아닙니다. 서로 다른 질문에 대한 서로 다른 답변입니다. 그리고 어느 쪽이 승리할지를 결정하는 질문은 다음과 같습니다: 실제 워크로드(workload)는 어떤 모습인가? 핵심 발견: Claude Code, Codex, Cursor, OpenCode 세션에서 얻은 SemiAnalysis 자체 프록시 데이터(~432k 요청, ~80B 토큰)에 따르면, 입력 시퀀스 길이(input sequence length)의 중앙값은 약 96,300 토큰이며, 전체 요청의 거의 50%가 128k 토큰을 초과합니다. 이는 Cerebras가 공개 엔드포인트에서 지원하는 현재 최대치입니다. 시사점: Cerebras의 가장 빠른 하드웨어조차 중앙값 수준의 실제 프로덕션 에이전트 워크로드(production agentic workload)를 전체 컨텍스트로 서비스할 수 없습니다. 웨이퍼 전쟁(The Wafer Wars): Cerebras, Groq, NVIDIA, TSMC

NVIDIA — 해자(Moat)를 가진 기존 강자
NVIDIA의 위치는 표면적으로 보이는 것보다 구조적으로 더 강력합니다.

SemiAnalysis의 InferenceX 벤치마크에 따르면, Blackwell Ultra (GB300)는 단순히 더 많은 메모리를 제공하는 것에 그치지 않습니다. 높은 상호작용성 (high interactivity) 환경에서 H100 대비 100배 더 많은 처리량 (throughput)을 제공합니다. 이는 단순한 세대적 개선이 아닙니다. 그것은 불연속적인 도약 (discontinuity)입니다. 하지만 NVIDIA의 진정한 해자 (moat)는 하드웨어가 아닙니다. 바로 소프트웨어입니다. 12년간 축적된 개발자 도구, 라이브러리, 그리고 최적화된 커널 (optimized kernels)로 구성된 CUDA 생태계가 실제 전환 비용 (switching cost)입니다. 모든 대안 칩 기업들은 단순히 NVIDIA의 실리콘 (silicon)과 경쟁하는 것이 아닙니다. 그들은 CUDA를 기반으로 커리어를 쌓아온 모든 엔지니어, 그리고 A100에서 벤치마크된 모든 머신러닝 (ML) 논문들과 경쟁하고 있는 것입니다. GB300 NVL72는 낮은 상호작용성 (40 tps)에서 H100보다 20배 더 높은 처리량을 달성하며, 높은 상호작용성 (120 tps)에서는 100배 더 높은 처리량을 달성합니다. 또한 45°C의 유입 냉각수 온도를 견딜 수 있어, 연중 더 긴 기간 동안 프리 쿨링 (free cooling)을 가능하게 합니다. 이는 GPU당 900 GB/s 대역폭을 갖는 72-GPU NVLink5 패브릭 (fabrics)을 통해 확장됩니다. 측정 가능한 모든 면에서, 이는 오늘날 사용 가능한 가장 유능한 범용 AI 추론 (inference) 플랫폼입니다.

Cerebras — 가장 빠른 토큰, 가장 작은 모델
Cerebras WSE-3는 반도체 역사상 가장 대담한 엔지니어링 베팅 중 하나입니다. 21.5cm × 21.5cm 크기의 단일 실리콘 조각 안에 900,000개의 활성화된 연산 코어 (compute cores)와 44GB의 온칩 SRAM (on-chip SRAM)을 포함하고 있으며, 초당 21 페타바이트 (petabytes)의 메모리 대역폭을 제공합니다. 맥락을 짚어보자면, 일반적인 대형 프로세서의 SRAM은 수백 메가바이트 (megabytes) 단위로 측정됩니다. 반면 WSE-3는 44 기가바이트 (gigabytes)를 보유하고 있습니다. 이것이 중요한 물리적 이유는 다음과 같습니다: 매우 낮은 산술 연산 강도 (arithmetic intensity, 연산 대비 메모리 전송 비율) 환경에서, SRAM 기반 칩은 HBM 기반 GPU보다 수십 배 더 효과적인 FLOPs를 실현합니다. 새로운 토큰을 생성하는 추론의 단계인 디코드 커널 (Decode kernels)이 바로 이러한 특성을 가지고 있습니다. 이것이 Cerebras가 H100이 40 tps를 기록할 때 초당 2,000개의 토큰을 생성할 수 있다고 주장할 수 있는 이유입니다. 비용 구조 또한 상당합니다. CS-3 랙 (rack)은 약 450,000달러에 달합니다 (2025년 4분기 메모리 가격 인상 전 35만 달러에서 상승).

이는 4 LPM/kW로 작동하는 25kW 맞춤형 액체 냉각 시스템 (liquid cooling system)을 필요로 하며, 이는 표준 NVL72 레퍼런스 디자인 (reference design)보다 3배 더 높은 수치입니다. Cerebras의 오클라호마시티 시설은 5°C의 냉수를 생산하는 6,000톤 규모의 칠러 플랜트 (chiller plant)를 가동합니다. Cerebras 클러스터를 운영하는 것은 GPU 클러스터를 운영하는 것과는 다른 시설을 필요로 합니다. SemiAnalysis의 단일 CS-3 + KVSS 노드에 대한 BOM (Bill of Materials) 분석에 따르면, TSMC N5 웨이퍼 자체의 비용은 약 2만 달러로 추정되지만, 이는 전체 비용의 극히 일부에 불과합니다. Vicor의 맞춤형 전력 공급 모듈 (power delivery modules), 특수 냉각 부품, NIC (Network Interface Card) 역할을 하는 12개의 100GbE Xilinx FPGA, 그리고 웨이퍼 배치당 필요한 84개의 맞춤형 마스크 세트 (mask sets)로 인해 총비용은 45만 달러라는 수치까지 치솟습니다. 전력 공급 부문만 보더라도 — 50V를 1V로 변환하는 84개의 Vicor 파워 브릭 (power bricks)을 통해 공급되는 각각 3.3kW의 PSU (Power Supply Unit) 12개 — 이는 데이터 센터 산업의 그 어디에도 존재하지 않는 시스템입니다. SRAM 스케일링 (scaling) 문제는 Cerebras의 장기 로드맵에서 가장 깊은 기술적 우려 사항입니다. TSMC 16nm 공정의 WSE-1은 18GB의 SRAM을 보유했습니다. 7nm 공정의 WSE-2는 40GB로 도약하며 세대 간 2.2배의 개선을 이루었습니다. 그러나 5nm 공정의 WSE-3는 겨우 44GB로 진보했습니다. 이는 전체 노드 전환 과정에서 단 10%의 증가에 불과합니다. 그리고 5nm 이후로는 SRAM 스케일링이 완전히 멈춥니다. TSMC N3E는 N5 대비 수축 (shrink)이 전혀 없으며, 이는 N2 및 그 이후 공정에서도 계속됩니다. Cerebras가 SRAM 용량을 늘릴 수 있는 유일한 방법은 연산 면적 (compute area)을 희생하는 것입니다. 이는 웨이퍼 스케일 (wafer scale)에서의 엄격한 트레이드오프 (tradeoff)입니다. OpenAI와의 계약은 주의 깊게 읽어볼 가치가 있습니다. 이는 동시에 10억 달러 규모의 운전 자본 대출 (working capital loan), 246억 달러 규모의 컴퓨팅 구매 계약, 그리고 사실상 행사 가격이 0달러인 3,340만 주의 워런트 (warrant)로 구성되어 있습니다. 이 모든 것은 OpenAI의 이익과 Cerebras의 실행력이 2028년까지 긴밀하게 결합되도록 구조화되었습니다. 수익 인식 (revenue recognition)은 총액 기준 (데이터 센터 비용이 포함된 pass-through 방식)이므로, 헤드라인 수치는 실제 경제적 가치보다 더 크게 나타납니다. 하지만 TSMC 웨이퍼 로딩 (wafer loading) 데이터는 이 약속이 실질적임을 확인해 줍니다. 2026년까지 매 분기마다 OpenAI의 배포 요구 사항을 충족하기 위해 물량이 실질적으로 단계적 확대될 예정입니다.

OpenAI가 실제로 구매하고 있는 것: 증류된 모델(distilled models)의 추론 속도입니다. Cerebras에서 최대 2,000 tps(초당 토큰 수)로 구동되는 GPT-5.3-Codex-Spark는 GPT-5.3 트레이스(traces)로 미세 조정(fine-tuned)된 gpt-oss-120B입니다. 이는 실제 5.3 Codex보다 10배 이상 작습니다. 이들의 베팅은 12개월 안에 알고리즘적 발전이 120B 모델을 충분히 똑똑하게 만들어, 이론적으로 더 똑똑한 모델을 사용할 수 있더라도 사용자들이 40 tps 대신 2,000 tps를 선택하게 될 것이라는 점입니다. SemiAnalysis의 엔지니어들이 Opus 4.7에 패스트 모드(fast mode)가 포함되지 않았다는 이유로 Opus 4.6에서 Opus 4.7로 업그레이드하기를 거부했다는 점을 고려하면, 이러한 베팅은 점점 더 신빙성 있게 보입니다.

Groq — 모든 것을 바꾼 NVIDIA의 인수
Groq의 LPU 아키텍처는 개념적으로 Cerebras와 유사합니다. 즉, SRAM 기반이며 디코드 처리량(decode throughput)에 최적화되어 있지만, 규모의 지점(scale point)이 다릅니다. 2025년 12월 NVIDIA의 Groq에 대한 "라이선스형 채용(licensi-hire)"(Jensen은 200억 달러의 가치를 보았다고 알려짐)은 SRAM 머신에 대한 시장의 인식을 바꾼 신호였습니다. NVIDIA의 추론 스택(inference stack)에 통합된 LP30은 96개의 112G SerDes 레인을 탑재하여 9.6 Tb/s의 칩 외부 대역폭(off-chip bandwidth)을 제공하며, 이는 NVIDIA의 PDD+AFD 추론 전략에 매우 중요합니다. NVIDIA 산하의 Groq는 독립적인 경쟁자라기보다는 NVIDIA 생태계에 내장된 속도 계층(speed tier)에 가깝습니다. 결정적으로, LP30은 하이브리드 본딩(hybrid bonding)을 통해 Z 방향으로 확장하여 SRAM 타일(tiles)을 추가할 수 있는데, 이는 Cerebras의 웨이퍼 스케일(wafer-scale) 아키텍처에서는 훨씬 더 어려운 작업입니다.

TSMC — 아무도 말하지 않는 킹메이커
이 전쟁의 모든 칩은 TSMC 실리콘 위에서 작동합니다. WSE-3는 TSMC N5 공정입니다. GB300은 N4 공정 기반의 TSMC CoWoS-L 패키징입니다. 연구자들이 소형 모델 추론을 위해 점점 더 많이 배치하고 있는 Apple의 M4조차도 TSMC N3E입니다. TSMC의 생산 능력 제한, 특히 CoWoS 첨단 패키징(advanced packaging)은 설계 인재가 아니라 AI 하드웨어 확장의 실제 병목 현상(bottleneck)입니다. 지정학적 차원은 아무도 가격에 반영하고 싶어 하지 않는 리스크입니다. 전 세계의 가장 진보된 모든 AI 하드웨어가 타이베이에서 100km 이내에 집중된 제조 공정에 의존하고 있다는 점입니다.

대만 리스크는 새로운 것이 아니지만, 하이퍼스케일러 (Hyperscaler)의 자본 지출 (Capex) 결정에 점점 더 반영되고 있습니다. 이것이 Intel의 파운드리 (Foundry) 확장, TSMC의 애리조나 팹 (Fab), 그리고 Samsung의 텍사스 투자가 모두 동시에 정부 보조금을 받고 있는 이유 중 하나입니다.

프론티어 모델 (Frontier Models): 지능의 사다리

이제 경쟁의 모델 측면을 살펴보겠습니다. 이 표에서 가장 중요한 것은 개별 모델이 아닙니다. 그것은 바로 가격-지능 경계의 압축 (Price-intelligence frontier compression)입니다. 2025년 1월, OpenAI의 o3는 프론티어 추론 (Frontier reasoning)에 대해 출력 토큰 100만 개당 60달러를 부과했습니다. 2026년 5월까지, 진정한 프론티어 모델인 GPT-5.5는 100만 개당 30달러가 됩니다. SemiAnalysis가 "SOTA (State-of-the-art) 바로 뒤를 쫓고 있다"라고 설명하는 DeepSeek V4 Pro는 약 100만 개당 2달러의 비용이 듭니다. 지능의 경제학이 붕괴하고 있습니다.

이것은 실시간으로 일어나는 제번스의 역설 (Jevons Paradox)입니다. 2025년 초 DeepSeek의 R1이 출시되었을 때, 사람들은 더 저렴한 모델이 GPU 수요 감소를 의미한다고 생각했기 때문에 NVIDIA 주가가 일시적으로 폭락했습니다. 하지만 정반대의 일이 일어났습니다. 더 저렴한 지능은 더 많은 사용을 의미하며, 이는 인프라 차원에서의 더 많은 총 GPU 수요를 의미합니다.