Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 데이터센터의 비효율성이 심화되면서, 대형 언어모델 추론 과정은 연산 능력보다 메모리 대역폭에 병목 현상을 겪고 있습니다. 이로 인해 GPU 활용률이 낮아지자, 시장은 메모리 용량과 대역폭 확충을 가장 효율적인 해결책으로 인식하며 메모리 가격 상승을 주도하고 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 X 토픽: 한국 AI/LLM의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기메모리가 비싸진 이유는, 역설적이게도 메모리가 가장 싸기 때문이다
D램 가격이 1년 새 두 배 가까이 올랐다. 서버용은 그 이상이다. 언뜻 보면 메모리가 비싸진 것 같지만, 순서가 반대다. 메모리가 성능을 늘리는 가장 싼 수단이었기 때문에 수요가 몰렸고, 그래서 가격이 오르고 있는 것이다.
출발점은 AI 데이터센터의 비효율이다. 대형 언어모델의 추론, 특히 토큰을 하나씩 생성하는 디코딩 단계는 연산이 아니라 메모리 대역폭에 묶여 있다. 매 토큰마다 모델 가중치와 KV 캐시 전체를 메모리에서 읽어 와야 하는데, GPU의 연산 속도가 데이터를 나르는 속도를 한참 앞지른 탓에 프로덕션 환경에서 GPU 활용률이 20~40%에 머무는 경우가 드물지 않다. 세계에서 가장 비싼 반도체가 절반 이상의 시간을 데이터를 기다리며 보내고 있는 셈이다. 이 상황에서 연산기를 더 사는 것은 노는 일꾼을 늘리는 일에 가깝고, 메모리 용량과 대역폭을 늘리는 것이 병목을 직접 푸는 일이 된다.
가격 구조를 뜯어 보면 이 비대칭은 더 선명해진다. 엔비디아 B200의 제조원가는 6천 달러대로 추정되는데, 그중 HBM이 약 2,900달러로 절반 가까이를 차지하고 정작 엔비디아의 로직 다이는 15%가 안 된다. 그런데 판매가는 3만4만 달러다. 칩 레벨 마진이 80%를 넘는다는 계산이 나온다. GPU 매출 1달러 중 HBM 공급사들이 가져가는 매출총이익은 고작 1015센트 수준으로 추정된다.
이 마진 구조는 시장의 행동도 갈라놓았다. 연산기의 80% 마진은 하이퍼스케일러들이 자체칩을 만들 충분한 이유가 된다. 구글의 TPU, 아마존의 트레이니엄, 마이크로소프트의 마이아, 메타의 MTIA가 모두 그 산물이다. 설계는 직접 하고 생산은 TSMC에 맡기면 되니, 팹리스 구조 덕분에 진입이 가능하다. 반면 메모리는 아무도 직접 만들려 하지 않는다. DRAM은 설계와 제조가 분리되지 않는 산업이라 수십 년의 공정 축적과 막대한 팹 투자 없이는 시작조차 할 수 없고, 그래서 자체칩 진영조차 HBM만은 사서 쓴다.
연산기는 우회할 수 있지만 메모리는 우회할 수 없다. 지금의 메모리 가격은 이 구조가 가격표에 반영되는 과정이다. 가장 싼 자원에 수요가 몰리면 그 자원의 가격이 오른다. 메모리 가격의 상승은 이상 과열이 아니라, 메모리가 가장 싼 병목 해소 수단이라는 사실이 시장에서 확인되고 있다는 신호로 읽는 편이 맞다.