메모리가 비싸진 이유는, 역설적이게도 메모리가 가장 싸기 때문이다

D램 가격이 1년 새 두 배 가까이 올랐다. 서버용은 그 이상이다. 언뜻 보면 메모리가 비싸진 것 같지만, 순서가 반대다. 메모리가 성능을 늘리는 가장 싼 수단이었기 때문에 수요가 몰렸고, 그래서 가격이 오르고 있는 것이다.

출발점은 AI 데이터센터의 비효율이다. 대형 언어모델의 추론, 특히 토큰을 하나씩 생성하는 디코딩 단계는 연산이 아니라 메모리 대역폭에 묶여 있다. 매 토큰마다 모델 가중치와 KV 캐시 전체를 메모리에서 읽어 와야 하는데, GPU의 연산 속도가 데이터를 나르는 속도를 한참 앞지른 탓에 프로덕션 환경에서 GPU 활용률이 20~40%에 머무는 경우가 드물지 않다. 세계에서 가장 비싼 반도체가 절반 이상의 시간을 데이터를 기다리며 보내고 있는 셈이다. 이 상황에서 연산기를 더 사는 것은 노는 일꾼을 늘리는 일에 가깝고, 메모리 용량과 대역폭을 늘리는 것이 병목을 직접 푸는 일이 된다.

가격 구조를 뜯어 보면 이 비대칭은 더 선명해진다. 엔비디아 B200의 제조원가는 6천 달러대로 추정되는데, 그중 HBM이 약 2,900달러로 절반 가까이를 차지하고 정작 엔비디아의 로직 다이는 15%가 안 된다. 그런데 판매가는 3만4만 달러다. 칩 레벨 마진이 80%를 넘는다는 계산이 나온다. GPU 매출 1달러 중 HBM 공급사들이 가져가는 매출총이익은 고작 1015센트 수준으로 추정된다.

이 마진 구조는 시장의 행동도 갈라놓았다. 연산기의 80% 마진은 하이퍼스케일러들이 자체칩을 만들 충분한 이유가 된다. 구글의 TPU, 아마존의 트레이니엄, 마이크로소프트의 마이아, 메타의 MTIA가 모두 그 산물이다. 설계는 직접 하고 생산은 TSMC에 맡기면 되니, 팹리스 구조 덕분에 진입이 가능하다. 반면 메모리는 아무도 직접 만들려 하지 않는다. DRAM은 설계와 제조가 분리되지 않는 산업이라 수십 년의 공정 축적과 막대한 팹 투자 없이는 시작조차 할 수 없고, 그래서 자체칩 진영조차 HBM만은 사서 쓴다.

연산기는 우회할 수 있지만 메모리는 우회할 수 없다. 지금의 메모리 가격은 이 구조가 가격표에 반영되는 과정이다. 가장 싼 자원에 수요가 몰리면 그 자원의 가격이 오른다. 메모리 가격의 상승은 이상 과열이 아니라, 메모리가 가장 싼 병목 해소 수단이라는 사실이 시장에서 확인되고 있다는 신호로 읽는 편이 맞다.