Nvidia 메모리 비용 485% 급증, 최신 AI 시스템 구축 비용 780만 달러에 달해 — 메모리가 전체 비용의 25% 차지, Rubin

AI 섹터의 높은 수요로 인해 부품 가격이 급격히 상승함에 따라, 이러한 기계들의 비용 또한 크게 증가하고 있습니다. Morgan Stanley Research는 차세대 Vera Rubin 기반 VR200 NVL72 랙이 주요 하이퍼스케일 클라우드 서비스 제공업체(CSPs)에게 유닛당 약 780만 달러의 비용이 들 것으로 추정하고 있습니다(@Aaronwei3n 참조). 이는 GB300 NVL72의 약 400만 달러보다 눈에 띄게 높은 수치입니다. 또한, 모든 VR200 NVL72 랙에는 방대한 양의 DRAM과 NAND가 탑재되기 때문에, 현재 메모리가 전체 비용의 약 25%를 차지하고 있습니다.

Morgan Stanley에 따르면, Nvidia는 하이퍼스케일러들에게 VR200 NVL72 섀시 내부에 포함된 Rubin GPU를 대량 판매할 때 개당 55,000달러, Vera CPU를 개당 5,000달러에 청구할 계획입니다. 출시 예정인 VR200 NVL72 랙은 이미 익숙한 Oberon 섀시를 사용하지만, 더 정교한 스위칭(switching), 네트워킹(networking), 인쇄 회로 기판(PCB), 냉각(cooling), 전원 공급 장치(power supply), 그리고 칩 패키징(chip packaging) 구성 요소를 사용하며, 이는 자재 명세서(BOM) 비용과 결과적으로 시스템 가격을 상승시킵니다. 그 결과, Morgan Stanley에 따르면 각 VR200 NVL72는 하이퍼스케일러에게 약 780만 달러의 비용이 들게 되며, 이는 우리가 지난 3월 말 한 소식통으로부터 들었던 약 700만 달러보다 높은 수치입니다. 한편, 동일한 수치에 따르면 VR200 NVL72 랙 내의 메모리 비용은 약 200만 달러에 달할 것이며, 이는 GB300 NVL72의 메모리 비용보다 435% 증가한 수치입니다.

메모리 비용이 VR200 NVL72 시스템 비용의 25%를 차지할 것으로 예상되는 이유와 왜 이 시스템이 200만 달러 상당의 메모리를 탑재하게 되는 데에는 몇 가지 이유가 있습니다.

첫째로, 이러한 랙(rack) 각각에는 현재 54TB의 LPDDR5X 메모리가 포함되어 있으며, 이는 GB200 NVL72의 경우였던 17TB에서 3배 증가한 수치입니다. SemiAnalysis는 Nvidia가 1분기에 LPDDR5X GB당 8달러를 지불한 것으로 추정하고 있으나, 향후 몇 분기 동안 수요가 증가함에 따라, 특히 제조 및 테스트 비용이 많이 드는 SOCAMM2 모듈에 대해 이야기한다면 그 가격은 상승할 수 있습니다. 어떤 경우든, GB당 8달러라고 가정하더라도 각 GB200 NVL72 머신은 136,000달러 상당의 LPDDR5X 메모리를 탑재하게 되며, 반면 각 VR200 NVL72 시스템은 408,000달러 상당의 LPDDR5X 콘텐츠를 포함하게 됩니다. 만약 가격이 GB당 10달러로 상승한다면, LPDDR5X에만 540,000달러가 소요된다는 뜻입니다. Nvidia가 자체적인 마진(markup)을 추가한다는 점을 고려하면, GB당 10달러조차 과소평가된 수치일 수 있음에 유의하십시오.*

둘째로, 각 VR200 NVL72 랙은 약 100만 달러 이상의 3D NAND 스토리지를 탑재하고 있으며, 이는 GB200 NVL72 내부가 사실상 제로에 가까웠던 것과 대조적입니다.

결과적으로, Vera Rubin NVL72 랙당 200만 달러의 메모리 콘텐츠는 완전히 예상치 못한 일은 아닙니다. 이 시스템은 많은 양의 LPDDR5X와 3D NAND 메모리를 사용하며(Rubin GPU에 탑재된 HBM4 메모리는 말할 것도 없습니다), 현재 메모리 가격은 막대하게 치솟아 있습니다.

Framework에 따르면, DDR5 메모리의 계약 가격은 다양한 요인과 운에 따라 현재 GB당 12달러에서 16달러 사이입니다. DRAMeXchange에 따르면, 보도 시점 기준 DDR5의 현물 가격(Spot price)은 평균적으로 GB당 약 20달러였습니다. LPDDR5X는 DDR5보다 더 비쌉니다. 이것이 (Nvidia의 Vera CPU에서 독점적으로 사용되는) SOCAMM2 모듈에 설치될 경우, 특히 Nvidia의 마진이 추가되면 비용은 훨씬 더 높아질 것입니다.*

Tom's Hardware의 최고의 뉴스와 심층 리뷰를 귀하의 편지함으로 직접 받아보세요.

최신 뉴스, 분석 및 리뷰를 피드에서 받아보려면 Google 뉴스에서 Tom's Hardware를 팔로우하거나, 저희를 선호하는 소스로 추가하세요.

Anton Shilov는 Tom’s Hardware의 기고가입니다. 지난 수십 년 동안 그는 CPU와 GPU부터 슈퍼컴퓨터, 현대적 공정 기술과 최신 팹(fab) 도구, 그리고 첨단 기술 산업 트렌드에 이르기까지 모든 분야을 다뤄왔습니다.