해외 기사를 번역기로 번역 하였습니다 오역이 있을수 있으니 원문을 참고 하세요
AMD는 베니스와 베라노를 통해 CPU 라인업을 확장하는 것 외에도 데이터 센터의 또 다른 과제인 메모리 병목 현상 해결에 집중하고 있습니다. Wccftech 에 따르면 , AMD는 EPYC 서버에서 DRAM 요구량을 20~75%까지 절감할 수 있는 플래시 기반 솔루션인 MEXT 예측 메모리 소프트웨어를 공개했습니다. 이 솔루션은 성능은 유지하면서 비용과 공급 압박을 완화할 수 있을 것으로 예상됩니다.
이번 11월 출시는 AMD가 6월에 MEXT를 인수한 데 따른 것입니다. AMD 사업 개발 부사장인 게리 스머던은 기업들이 성능 저하를 방지하기 위해 메모리를 과도하게 할당하는 경우가 많다고 Commercial Times 에 설명했습니다 . Wccftech는 DRAM 과잉 할당이 최대 50%에 달할 수 있으며, 이로 인해 할당된 메모리의 절반은 가상 머신(VM)에서 사용되지 않고, 또 다른 25%는 인스턴스 내에 그대로 남아 있다고 덧붙였습니다. 보고서에 따르면 전체적으로 메모리 페이지가 비활성 또는 "콜드" 상태가 되면서 DRAM 용량의 50~80%가 활용되지 못할 수 있습니다.
이러한 배경 속에서 MEXT는 AI 기반 예측 메모리 솔루션을 통해 유휴 데이터를 플래시 메모리로 이동시키고 AI를 사용하여 수요를 예측한 후 애플리케이션이 필요로 하기 전에 데이터를 DRAM으로 다시 이동시켜 지연 시간을 최소화함으로써 이러한 비효율성을 해결한다고 Commercial Times가 보도했습니다.
DRAM이 서버 비용의 최대 75%를 차지하는 것으로 알려지면서 공급 부족이 지속되는 상황에서, 잠재적인 비용 절감 효과는 상당합니다. Wccftech에 따르면, 문부과학성은 물리적인 DRAM을 추가하는 비용의 극히 일부만으로 사용 가능한 메모리 용량을 사실상 세 배로 늘릴 수 있어 데이터 센터에 보다 경제적인 확장 방안을 제시할 수 있습니다.
이러한 이점은 특히 에이전트 기반 AI 워크로드에서 메모리 절약 외에도 더 넓은 범위에 적용될 수 있습니다. Wccftech에 따르면 AMD는 DRAM과 MEXT 지원 플래시를 50/50으로 혼합하여 사용하면 5개의 에이전트가 동시에 실행되는 워크플로우에서 비용 대비 성능을 최대 90%까지, 메모리 집약적인 에이전트 애플리케이션에서는 최대 70%까지 향상시킬 수 있다고 주장합니다.
문부과학성, 상업화 방향으로 나아가다
AMD는 이미 자체 IT 인프라에 MEXT를 활용하고 있습니다. Wccftech에 따르면, 초기 145개 서버에 MEXT를 도입함으로써 약 490만 달러 상당의 DRAM 구매 비용을 절감할 수 있을 것으로 예상되며, 이는 동일한 DRAM 업그레이드 방식 대비 메모리 확장 비용을 83% 절감하는 효과를 가져옵니다. AMD는 2027년까지 2,000개 서버로 도입 범위를 확대할 계획이라고 해당 보고서는 전했습니다.
AMD는 내부 도입을 넘어 휴렛팩커드 엔터프라이즈(HPE)와 협력하여 MEXT를 기업 고객에게 제공할 예정이며, 초기에는 충분한 CPU 코어와 NVMe 확장 용량을 갖춘 "MEXT Ready" 시스템에 집중할 것이라고 Wccftech가 보도했습니다.
NVIDIA, CMX를 활용하여 KV 캐시 용량 확장
AMD만 메모리 제약을 완화하기 위해 플래시 메모리를 고려하는 것은 아닙니다. NVIDIA도 Context Memory Storage(CMX) 플랫폼을 통해 AI 추론 분야에서 유사하지만 차별화된 접근 방식을 취하고 있습니다. 생성형 AI와 AI 에이전트가 더 긴 컨텍스트를 처리함에 따라 이전 토큰의 계산 결과를 저장하는 KV 캐시의 크기가 빠르게 증가하고 있으며, 이로 인해 HBM에만 저장하는 것은 비용 부담이 크고 용량 제한이 있습니다.
CMX는 GPU HBM 및 호스트 DRAM 아래에 플래시 기반 계층을 추가하여 HBM에서 밀려난 KV 캐시를 플래시에 저장하고 필요할 때 검색할 수 있도록 합니다. Wccftech 에 따르면 CMX는 BlueField-4 DPU 및 Spectrum-X 이더넷을 통해 Rubin GPU 클러스터에 연결된 TLC 플래시를 사용합니다.
