최근 생성형 AI (GenAI) 시장의 폭발적 성장은 DRAM 및 플래시 메모리 시장에 새로운 사이클을 예고하고 있습니다. 2022년 ChatGPT 등장 이후, 팬데믹 기간 동안 구축된 개인 및 데이터센터 인프라 수요가 일시적으로 주춤하며 메모리 가격이 급락했던 것과 달리, 현재는 AI 슈퍼컴퓨팅의 폭발적 수요로 인해 DRAM과 플래시 스토리지가 공급을 훨씬 초과하며 가격이 다시 치솟고 있습니다.
1. HBM 및 DRAM 시장 동향:
AI 가속기 기반 서버에는 수백 기가바이트(GB)에 달하는 HBM (High Bandwidth Memory) 스택 메모리가 필수적으로 탑재됩니다. 특히 HBM3와 같은 고성능 메모리는 하나의 작동 가능한 스택을 만들기 위해 여러 개의 DRAM 칩이 필요하며, 이 과정에서 발생하는 낮은 수율(yield)은 전체 메모리 제조 공정의 효율성을 떨어뜨립니다. 이는 단순한 서버용 DDR5 메모리가 할당될 수 있는 용량을 HBM에 집중시키면서 전반적인 공급망 압박을 가하고 있습니다.
2. 플래시 스토리지 부족 현상:
플래시는 DRAM과 유사하게, Kioxia, Micron Technology, Samsung 등 주요 파운드리들이 생산 능력을 빠르게 늘리기 어렵다는 구조적 문제를 안고 있습니다. 수요가 공급을 압도하면서 가격은 지난 2년간 50%에서 최대 70%까지 상승했습니다.
3. AI 슈퍼컴퓨팅 아키텍처와 계층적 스토리지:
이러한 폭발적인 수요를 주도하는 것은 Nvidia가 정의하는 'AI 공장(AI factories)'을 위한 다층적 스토리지 요구사항입니다. 데이터센터는 본질적으로 정보 공장이기 때문에, 저장 장치는 AI 슈퍼컴퓨팅 아키텍처에서 컴퓨팅 파워만큼이나 중요합니다.
Nvidia의 AI 아키텍처는 다음과 같은 4가지 계층(G1~G4)으로 스토리지를 정의하고 있습니다:
- G1 (HBM Memory): GPU 가속기 패키지에 탑재되는 HBM 메모리입니다. 가장 빠른 속도를 제공합니다.
- G2 (DRAM Memory): 호스트 서버에 장착되는 DRAM 메모리로, G1의 오버플로우를 흡수하여 대규모 컨텍스트 윈도우 처리를 지원하는 것이 권장됩니다.
- G3 (Node-level Storage): 노드 레벨에서 사용되며, 중간 처리 데이터(intermediate processing data)가 주기적으로 저장되는 '체크포인팅(checkpointing)'에 필수적입니다. AI 슈퍼컴퓨터는 GPU와 XPU 간의 동기식 통신을 하므로, 시스템 일부가 실패했을 때 전체 학습이 중단되는 것을 막기 위해 이 체크포인팅 기능이 중요합니다.
- G4 (Network Storage): 노드나 랙 스케일 시스템 외부에서 객체 및 파일을 저장하는 네트워크 스토리지를 의미합니다. VAST Data와 같은 솔루션들이 G3의 역할을 흡수하며 비용 효율적인 대안을 제시하고 있습니다.
여기에 더해, Nvidia는 차세대 플랫폼에 **G3.5 (Inference Context Memory Storage)**라는 새로운 계층을 도입할 예정입니다. 이는 BlueField-4 DPU를 스토리지 컨트롤러로 사용하여 노드/랙 내부에 배치함으로써 속도를 높이고 데이터 로컬 프로세싱 기능을 제공합니다.
결론적으로, AI의 발전은 단순히 GPU 성능 향상에만 의존하는 것이 아니라, HBM, DRAM, 그리고 플래시 스토리지를 포함한 고도화된 계층적 스토리지 아키텍처 전체를 요구하며 관련 시장의 구조적인 성장을 이끌고 있습니다.
