메모리는 AI 칩 제조 비용의 3분의 2를 차지합니다

Epoch AI는 이번 주 프런티어 AI 가속기(AI accelerator)의 부품 비용 세부 내역을 발표했으며, 그 핵심 수치는 2026년 GPU 관련 논의의 많은 부분을 재구성하는 내용입니다. 바로 메모리가 이제 원가(bill of materials)의 약 3분의 2를 차지한다는 점입니다. 사람들이 "AI 칩"이라는 말을 들을 때 가장 먼저 떠올리는 로직 다이(logic die)는 더 이상 비용의 주도적인 부분을 차지하지 않습니다. 그 위에 접착된 고대역폭 메모리(HBM) 스택들이 그 자리를 차지하고 있습니다.

이는 조용한 역전 현상입니다. 10년 전 일반적인 HPC(고성능 컴퓨팅)용 서버 GPU에서는 로직 다이가 주요 비용이었고 메모리는 부수적인 요소였습니다. 오늘날 대규모 모델의 학습(training)과 추론(serving)을 위해 구축된 가속기에서는 그 비율이 뒤집혔습니다. 과거에는 주로 실리콘 파운드리(silicon foundry) 비용에 의해 가격이 결정되었던 동일한 칩 제품군이, 이제는 메모리 공급업체가 HBM 스택당 부과하는 비용에 의해 가격이 결정되는 비중이 점점 커지고 있습니다.

Epoch AI의 통찰은 해당 점유율을 구체적으로 명시하고 있으며, 이 소스 데이터는 분기별 실적 발표(earnings call)를 통해 강제로 주목받기 전까지는 무시되기 쉬운, 서서히 변화하는 구조적 수치입니다. (Epoch AI의 부품 비용 세부 내역이 주요 출처입니다.)

AI 인프라 전문 매체를 읽는 이들에게 이것이 시사하는 바는 분석의 단위가 바뀐다는 것입니다. 지난 2년 동안의 병목 현상 이야기는 GPU 단위로 전개되었습니다. 하이퍼스케일러(hyperscaler)가 얼마나 많은 H100을 구매했는지, 얼마나 많은 B100이 출하되었는지, Nvidia가 얼마나 많은 Blackwell 랙을 인도할 수 있는지에 초점이 맞춰졌습니다. 이러한 프레임은 실제 제약 요인을 묻어버렸습니다. 파운드리(fab)가 매 분기 완성할 수 있는 가속기의 수가 구속 조건이 아니었습니다. 그 가속기에 결합하기 위해 메모리 공급업체가 인도할 수 있는 HBM 스택의 수가 바로 구속 조건이었습니다. 해당 공급망에서 중요한 세 기업은 SK Hynix, Samsung, 그리고 Micron이며, 훈련 클러스터(training-cluster)의 출하 날짜를 결정하는 것은 Nvidia의 수율(yields)이 아니라 이들의 할당 일정(allocation calendars)입니다.

놓치기 쉬운 두 번째 결과가 있습니다. 로직 다이(logic die)가 지배적이었을 때는 연산 효율(compute efficiency)의 세대적 개선이 칩 경제성(chip economics)의 세대적 개선으로 깔끔하게 이어졌습니다. 즉, 더 작은 다이(die)나 더 미세한 공정 노드(process node)가 비용 곡선을 예측 가능한 방향으로 이동시켰습니다. 하지만 이제 메모리가 지배적인 비중을 차지함에 따라, "GPU 연산(GPU compute)"의 비용 곡선은 점점 더 메모리 가격 책정 곡선(memory-pricing curve)으로 위장된 형태가 되어가고 있습니다. 2027년에 프런티어 모델(frontier model)의 학습 비용을 낮추는 요인은 TSMC가 2nm 노드에서 무엇을 출하하느냐보다는, 세 곳의 HBM 공급업체가 용량(capacity)을 두고 얼마나 공격적으로 경쟁하느냐와 더 관련이 있을 수 있습니다. 이는 AI 하드웨어 내러티브가 그동안 유지해 온 산업 구조와는 다른 모습입니다.

앞으로 주목해야 할 점은 HBM4의 양산(ramp)입니다. 업계 로드맵에 따르면 차세대 고대역폭 메모리(HBM)는 2026년까지 의미 있는 출하를 시작하여 2027년까지 규모를 확장할 예정이며, 세 공급업체 모두 차세대 학습 가속기(training accelerators)의 설계 수주(design wins)를 위해 경쟁할 것입니다. HBM4는 HBM3E보다 스택(stack)당 속도가 더 빠르고 패키지(package)당 밀도가 더 높습니다. 이는 단일 가속기가 더 넓은 면적(footprint)을 차지하지 않고도 더 많은 메모리를 탑재할 수 있음을 의미하며, 이는 구조적으로 비용 점유율을 다시 한번 변화시킬 것입니다. 메모리가 BOM(Bill of Materials, 부품 원가)의 4분의 3을 향해 계속 상승할지, 아니면 현재 수준에서 정체될지는 두 가지 특정 사항에 달려 있습니다. 바로 SK Hynix와 Micron의 HBM4 용량 확장이 실제로 얼마나 빨리 가동되는지, 그리고 Nvidia, AMD, 그리고 하이퍼스케일러(hyperscalers)의 자체 실리콘 팀들이 차세대 플랫폼 세대에서 더 큰 HBM 구성(configuration)을 사양으로 정할지 아니면 더 작은 구성을 정할지 여부입니다.

이 글을 읽는 실무자에게 가장 명확한 프레임워크는 2026년의 "연산 부족(compute scarcity)"은 대부분 메모리에 관한 이야기라는 점입니다. 다음 가격 변동이나 공급 발표가 나올 때, 질문해야 할 가치가 있는 것은 로직 파운드리(logic foundry)에서 무슨 일이 일어났느냐가 아니라 HBM 생산 라인에서 무슨 일이 일어났느냐입니다. 현재 칩의 비용은 바로 그곳에 머물고 있기 때문입니다.