AMD announces MI350P PCIe AI accelerator card with 144GB of HBM3E — roughly 40%

AMD 는 PCIe 폼팩터로 출시된 새로운 MI350 시리즈의 일원인 Instinct MI350P 를 출시했습니다. 이 제품은 128 개의 CUs 와 144GB 의 HBM3E 메모리를 탑재했으며, 기존에 공기 냉각 서버를 사용하는 시스템에 드롭-인 업그레이드 솔루션으로 설계되었습니다.

MI350P 는 600W 전원 포맷을 기반으로 한 팬리스 쿨링 솔루션이 적용된 10.5 인치 듀얼 슬롯 카드입니다 (카드가 랭크 마운트 서버의 체이스 팬에 의해 냉각되도록 설계됨). 그러나 이 카드는 더 많은 열적 또는 전력 제약이 있는 체이스와 호환성을 유지하기 위해 낮은 450W 전원 타겟으로 설정할 수 있습니다.

사양 (PEAK THEORETICAL)	AMD Instinct MI350P GPU	AMD Instinct MI325X GPU	AMD INSTINCT MI350X GPU	AMD INSTINCT MI350X PLATFORM	AMD INSTINCT MI355X GPU	AMD INSTINCT MI355X PLATFORM
GPUs	Instinct MI350P PCIe	Instinct MI325X OAM	Instinct MI350X OAM	8 x Instinct MI350X OAM	Instinct MI355X OAM	8 x Instinct MI355X OAM
GPU Architecture	CDNA 4	CDNA 3	CDNA 4	CDNA 4	CDNA 4	CDNA 4
Dedicated Memory Size	144 GB HBM3E	256 GB HBM3E	288 GB HBM3E	2.3 TB HBM3E	288 GB HBM3E	2.3 TB HBM3E
Memory Bandwidth	4 TB/s	6 TB/s	8 TB/s	8 TB/s per OAM	8 TB/s	8 TB/s per OAM
FP64 Performance	36 TFLOPs	Row 4 - Cell 2	72 TFLOPs	577 TFLOPs	78.6 TFLOPS	628.8 TFLOPs
FP16 Performance	2.3 PFLOPS	2.61 PFLOPS	4.6 PFLOPS	36.8 PFLOPS	5 PFLOPS	40.2 PFLOPS
FP8 Performance	4.6 PFLOPS	5.22 PFLOPS	9.2 PFLOPs	73.82 PFLOPs	10.1 PFLOPs	80.5 PFLOPs
FP6 Performance	Row 7 - Cell 1	Row 7 - Cell 2	18.45 PFLOPS	147.6 PFLOPS	20.1 PFLOPS	161 PFLOPS
FP4 Performance*	Row 8 - Cell 1	Row 8 - Cell 2	18.45 PFLOPS	147.6 PFLOPS	20.1 PFLOPS	161 PFLOPS

이 카드의 사양은 AMD 의 고급 MI350X 와 MI355X AI GPU 가 제공하는 사양의 정확히 절반입니다. MI350P 는 AMD 의 CDNA4 아키텍처를 기반으로 하며 TSMC 의 3nm 와 6nm FinFET 프로세스에 기반하여 제작되었습니다. 이 GPU 는 8,192 개의 코어, 128 개의 CUs, 512 개의 Matrix Core 를 탑재하며 최대 클럭 속도는 2.2GHz 입니다. GPU 는 4TB/s 의 대역폭과 128MB 로스 레벨 캐시를 갖춘 144GB 의 HBM3E 메모리와 함께 제공됩니다.

MI350X 와 MI355X 와 마찬가지로, MI350P 는 LLM 을 가속화하기 위한 낮은 정밀도 MXFP6 와 MXFP4 를 원생 지원합니다. 최대 8 개의 MI350P 카드가 단일 시스템에서 함께 연결될 수 있으며, 데이터 센터는 사용된 카드의 수에 따라 성능을 확장할 수 있습니다. AMD 는 이 GPU 가 MXFP4 를 사용하여 추정 2,299 TFLOPs 와 4,600 peak TFLOPs 의 성능을 제공하는 가장 빠른 엔터프라이즈 PCIe 카드로 주장합니다.

MI350P 의 출시로 AMD 는 현재 H200 NVL 이 Nvidia 의 가장 빠른 PCIe AI 가속기이며, MI350P 는 새로운 아키텍처를 기반으로 하여 H200 NVL 을 능가하며 성능을 발휘합니다. FP64 가 20% 더 좋고, FP16 이 43% 더 좋으며, FP8 이론적 계산 성능이 39% 더 좋습니다.

Nvidia 는 최신 B200 Blackwell GPU 의 HBM 메모리를 구동하는 PCIe 버전을 발표하지 않았으므로, 현재 AMD 는 PCIe 폼팩터에 맞는 가장 최첨단 AI 가속기를 보유하고 있습니다. Nvidia 의 CUDA 를 통한 시장 점유율과 관련하여 AMD 의 새로운 카드가 얼마나 널리 채택될지 여부는 아직 알 수 없습니다. 하지만 GPU 제조사는 CES 2026 에서 우리와 함께 경쟁하는 ROCm 소프트웨어 스택을 개선하고 있다고 밝혔습니다.

Google News에서 Tom's Hardware를 팔로우하거나, 우리를 선호하는 소스로 추가하여 최신 뉴스, 분석 및 리뷰를 피드에 받아보세요.

Tom's Hardware 의 가장 좋은 뉴스와 심층 리뷰를 직접 메일함에 보내드립니다.

• Can I have one of this with "slow" memory and a cheap price point? I'm asking as an hobbyist that would like to be able to run high memory LLM models locally on the cheap. Asking 20k (imaginary number but probably not far from reality) for one card like this is way too expensive for an hobby consumer AI computer.Reply
• Me: As an hobbyist, I just don't throw silly money on my project. If you (AMD) don't do it, someone else will, if not, as an hobbyist, I can afford to work around the lack of offer at a reasonable price point.Reply
• Reply

Maybe look at some of the Ryzen Ai Max machines? If you look around you can find those with 128 GB of RAM for under $3k. I think that is what AMD intends to be the hobbyist local AI option.

Kindaian said: Can I have one of this with "slow" memory and a cheap price point? I'm asking as an hobbyist that would like to be able to run high memory LLM models locally on the cheap. Asking 20k (imaginary number but probably not far from reality) for one card like this is way too expensive for an hobby consumer AI computer.

• Reply

AMD: so buy the MI350P.

Kindaian said: Me: As an hobbyist, I just don't throw silly money on my project. If you (AMD) don't do it, someone else will, if not, as an hobbyist, I can afford to work around the lack of offer at a reasonable price point.