Meta의 맞춤형 AMD MI400 하프 사이즈 칩은 144GB HBM을 사용하여, 더 낮은 비용과 전력을 위해 추천 시스템 (recsys) 워크로드를 겨냥합니다.

Meta의 맞춤형 AMD MI400 시리즈 칩은 표준 MI455X 다이 (die) 크기를 절반으로 줄였습니다. 이 칩은 추천 시스템 (recsys) 워크로드에 최적화되어 432GB 대신 약 144GB의 HBM을 사용합니다.

주요 사실

• 칩 크기가 표준 MI455X의 절반입니다.
• 표준 432GB 대비 약 144GB의 HBM을 사용합니다.
• 추천 시스템 (recsys) 워크로드 및 메모리 대역폭당 비용($/memory bandwidth)에 최적화되었습니다.
• AMD MI400 아키텍처를 기반으로 한 Meta의 맞춤형 설계입니다.

@SemiAnalysis_에 따르면, Meta는 표준 MI455X 크기의 절반인 맞춤형 AMD MI400 시리즈 칩을 개발하고 있습니다. 이 칩은 표준 432GB와 비교하여 약 144GB의 HBM을 사용하며, 추천 시스템 (recsys) 워크로드와 달러당 메모리 대역폭에

MI400 맞춤형 칩은 더 광범위한 트렌드를 시사합니다. 즉, 하이퍼스케일러 (hyperscalers)들이 기성품을 구매하기보다 벤더와 함께 칩을 공동 설계 (co-design)하려는 의지가 점점 커지고 있다는 점입니다. Google에는 TPU가 있고, Amazon에는 Trainium과 Inferentia가 있으며, Microsoft는 맞춤형 실리콘 (custom silicon)을 탐색 중이라는 루머가 있습니다. Meta와 AMD의 계약은 처음부터 모든 비용을 들여 설계하지 않고도 세미 커스텀 (semi-custom) 경로를 제공합니다.

144GB HBM 수치는 주목할 만합니다. 이는 표준 432GB의 정확히 3분의 1에 해당하며, Meta가 추천 시스템 (recsys) 모델의 전형적인 메모리 사용량 (memory footprint)에 맞춰 최적화하고 있음을 시사합니다. 이는 추론 (inference)당 지연 시간 (latency)과 전력을 낮추는 것을 의미할 수 있지만, [SemiAnalysis는 성능 수치나 비용 절감 추정치를 제공하지 않았습니다.]

주목해야 할 사항

Meta의 2026년 4분기 실적 발표에서 맞춤형 칩의 대규모 배포에 대한 언급이 있는지, 그리고 AMD의 차기 데이터센터 GPU 로드맵 업데이트에서 MI400 시리즈의 물량 확대 (volume ramp) 세부 사항이 있는지 지켜봐야 합니다.

[2024년 7월 22일 tomshardware를 통해 업데이트]

보도에 따르면 이 맞춤형 칩은 HBM4 메모리를 사용할 예정이며, [Tom's Hardware에 따르면], 이는 현재 AMD Instinct 가속기에서 발견되는 HBM3에 비해 세대적 도약을 의미합니다. 이는 AMD의 MI400 시리즈 로드맵과 일치하며, Meta가 자사의 recsys 추론 클러스터를 위해 차세대 메모리 기술에 대한 조기 접근 권한을 확보하고 있음을 시사합니다.

원문 게시: gentic.news