시간을 아끼자면 기사에도 나오듯 AMD Ryzen AI Max+ 395(Strix Halo) 프로세서는 2025년 봄부터 이미 있었고, Halo가 그 면에서 새로 제공하는 건 없음
이전 보드들과 같은 256 GB/s 메모리 대역폭 제한이 있는데, 왜 지금 새 물건처럼 출시되는지 모르겠음
비슷한 가격이면 Framework Desktop을 살 수 있고, GMKtec EVO-X2는 조금 더 싸게 살 수 있음

지금 출시하는 이유는 수익성이 매우 높고 수요도 많으며, 지난 1년 동안 가격까지 올랐기 때문임
AMD 입장에서는 PC 제조사에 더 싸게 넘기기보다 직접 수익을 챙기려는 게 당연함

맞음. 2025년 11월에 거의 같은 사양의 Framework Desktop을 약 2.5천 달러에 샀음

1년 전에는 이 컴퓨터를 2천 달러에 살 수 있었는데, 지금은 사실상 두 배 가격임

256GB/s 대역폭은 정말 꽤 큰 제약임

공간 제약이 없다면 왜 Framework Desktop을 고르나 싶음
그냥 일반 타워나 서버 랙 컴퓨터를 사면 됨

128GB 이상 메모리 머신은 정말 갖고 싶지만, 4천 달러에 256 GB/s밖에 안 되는 건 혹독함
ARM과 AMD 양쪽의 단점까지 감수해야 함
RTX Spark가 나올 때쯤이면 6천 달러가 돼야 할 것 같고, 128GB 이상에 700+ GB/s 머신이 나오면 1만 달러로 대부분 소비자 손이 닿지 않는 가격이 될까 걱정됨

Mac Studio는 메모리 대역폭 면에서 훨씬 나은 구매지만, 128GB 구성으로는 살 수 없음
솔직히 지금은 좋은 선택지가 별로 없고, 시장이 덜 미쳐 돌아갈 때까지 기다리는 게 나을 수도 있음

현재 4천~5천 달러 정도에서는 속도, 즉 GPU+32GB VRAM을 택하거나, 용량, 즉 DGX Spark/Halo를 택할 수 있지만 둘 다는 어려움
누군가 둘을 모두 갖춘 머신을 만들면 쉽게 1만 달러에 팔릴 것이고, 사람들이 줄 서서 살 것 같음

Strix Halo 메모리를 추론 작업으로 가득 채우면 토큰 속도가 불편할 정도로 느려진다는 걸 알아야 함
예를 들어 DS4, 즉 DeepSeek V4 Flash의 1비트 양자화 모델은 초당 9~13토큰 정도이고, 첫 토큰까지 걸리는 시간이 매우 김
에이전트형 대화식 코딩 모델로는 현실적이지 않음
Strix Halo는 마음에 들고, 주로 소프트웨어 보안 감사나 학습 실험 같은 비대화형 작업을 계속 돌리는 데 잘 쓰고 있음
AI 실험용 플랫폼으로는 좋지만, 4천 달러면 Nvidia 기반 Asus Ascend GX10을 살 수 있고 그쪽이 아마 더 나음
로컬 대화형 에이전트 용도라면 Qwen 3.6이나 Gemma 4를 돌리게 될 텐데, 이들은 2x64GB GPU에 여유롭게 들어가고 오래된 GPU도 Strix Halo보다 빠를 수 있음
32GB에도 빡빡하게 들어가며, 48GB나 64GB Mac에서도 잘 돌 것임
지금 GPU 쪽 sweet spot은 Radeon AI Pro R9700 두 장으로 보임
5090이나 4090처럼 중고차 값은 아니면서 로컬 추론에 충분한 메모리와 성능을 제공하고, eBay의 오래된 서버 GPU처럼 까다롭거나 이상하거나 3D 프린트 팬 덕트를 요구하지도 않음
현재로서는 이런 128GB 추론 머신에서 더 잘 돌아가면서 64GB 머신에서는 잘 안 되는 모델이 딱히 없음
64GB 머신이 더 빠를 수도 있고, 32GB GPU 중에도 더 느린 게 많지는 않겠지만, 벤더 드라이버와 CUDA 또는 ROCm에서 현재 적극 지원되지 않는 GPU는 사지 않는 게 좋음

정확히는 GB/s이고, 이는 초당 2테라비트임

이 장치들은 DGX Spark보다 쌀 때는 훌륭했음
하지만 가격이 같다면 Spark 대신 이걸 살 이유가 없음
Spark는 말 그대로 더 빠른 버전이고, 소프트웨어 지원도 더 좋음
Ryzen AI Max 395 장치를 가진 입장에서 하는 말임

Spark와 달리 아무 운영체제나 돌릴 수 있다는 점은 꽤 큰 장점임

Framework 메인보드를 랙마운트 케이스에 넣어서 빠르고 저전력인 x86 홈랩이자 추론 서버로 쓰고 있음

참고로 지금 DGX Spark FE를 가장 싸게 구해도 대략 4,700달러였음
여러 고등교육 공급처 기준임

용도에 따라 다름
Ryzen의 CPU는 DGX Spark보다 낫고, 특히 AVX-512를 쓰도록 업데이트된 현대 프로그램에서는 멀티스레드 성능이 훨씬 높음
GPU 애플리케이션에 한해서만 NVIDIA 시스템이 더 나을 가능성이 큼

맞음. 하드웨어 가격이 완전히 미쳐버리기 전인 2025년 말에 산 유일한 이유도 Spark의 절반 가격이었기 때문임
맞는 Linux 커널, 커널 펌웨어, ROCm 설치 등을 꽤 오래 만지작거렸음

Strix Halo 장치를 갖고 있고 마음에 들지만, 이 가격이면 AI 용도라면 Nvidia 기반 ASUS GX 10을 사는 편이 나음
CUDA 생태계가 여전히 더 강함
AMD는 CPU가 더 좋아서 데스크톱 머신으로는 더 낫지만, Nvidia 쪽이 추론과 학습 작업에서는 조금 더 빠르고 지원도 조금 더 좋음
ROCm으로도 거의 항상 같은 일을 할 수는 있지만, 손이 조금 더 감
다만 Nvidia가 자사 하드웨어에 실어 보내는 커스텀 Ubuntu는 다루기 힘들 정도로 별로임
Nvidia는 소프트웨어를 잘하지 못하고, Jetson 라인을 몇 년 다뤄봤지만 여전히 형편없음
여전히 투박한 커스텀 Ubuntu이고, 복잡한 이미지 기반 구조에 UEFI도 없어서 그냥 다른 Linux를 설치하면 되는 식이 아님
큰 장치에도 Ubuntu를 실어 보낼 거라 추정하지만, 직접 다뤄본 건 작은 임베디드 Jetson 머신뿐임
AMD 쪽은 일반 x86_64 PC라서 거의 어떤 Linux든 설치할 수 있고, 내 장치에는 바로 Fedora를 올렸음

내 Spark의 Ubuntu가 그렇게 형편없다고 느끼지는 않음
그냥 Ubuntu이고 별 문제를 겪지 않았음
지금까지 본 ARM64 Linux 장치 중 제대로 지원되는 Linux를 실제로 출하하는 유일한 벤더라는 점도 있음
ASUS GX10을 일상용 주 워크스테이션으로 쓰고 있고, 안 되는 건 Spotify 정도인데 아마 DRM 문제 같음
Signal ARM64 클라이언트도 없는 듯함
DGX Spark가 Strix Halo보다 갖는 큰 장점은 프리필 속도가 훨씬 빠르다는 것임
대략 5배 빠름
네트워크 하드웨어도 말도 안 되게 강력하지만, 나와 다른 Spark 사용자 99%는 그 성능을 끝까지 쓰지 않을 가능성이 큼

256GB/s 메모리 대역폭은 3090의 약 1/4 수준임
메모리를 절반으로 줄이고 속도를 4배로 올렸다면 더 나은 구매였을 것임

정말 그렇게 확신할 수 있나 싶음
높은 메모리 속도는 밀집 모델이나 높은 동시성 서빙에는 좋음
하지만 로컬 단일 사용자 환경에서는 이런 플랫폼 덕분에 더 강력하고 큰 MoE 모델을 합리적인 속도와 낮은 동시성으로 쓸 수 있는 편이 더 나을 때가 많음

카드 내부 대역폭으로 얻는 성능 이득은 시스템 RAM으로 넘치기 시작하면 사라짐
그때는 느린 PCIe 레인이 병목일 가능성이 큼
작업이 24GB 카드에 들어간다면, 애초에 이들이 만들려는 AI 미니 PC 틈새시장의 대상 사용자가 아님

상황에 따라 다름
작은 모델은 훨씬 잘 돌릴 수 있음
개인적으로 3090은 최소 2장, 이상적으로 4장 살 수 있을 때 가장 말이 되는데, 그때는 완전히 다른 예산 이야기가 됨

중요한 건 메모리 용량임
새 MTP 모델인 Qwen3.6 35B MoE는 약 80k 문맥까지도 큰 둔화 없이 토큰을 뽑아냄
많은 토큰을 얻는 것도 좋지만, 문맥을 처리하고 확장할 수 있다는 점 때문에 작은 그래픽 카드들에 비해 계속 훌륭한 머신으로 남을 것임

32GB DDR4 RAM 모듈은 대역폭이 25GB/s이고 160달러임
8개를 사면 1,280달러에 256GB RAM과 200GB/s 대역폭을 얻음
16GB 모듈 16개를 개당 60달러에 사면 960달러로 400GB/s 대역폭을 얻을 수 있음
문제는 메모리 컨트롤러가 8개 또는 16개 필요하다는 것임
메모리 컨트롤러는 그렇게 비싸지 않음
Intel Core i3-14100F는 2채널 컨트롤러가 있고 110달러이니, 16채널 컨트롤러는 880달러 이하, 8채널 컨트롤러는 440달러 정도로 추정할 수 있음
그렇다면 128GB만 있는 4천 달러 장비 대신 16개 DRAM 컨트롤러를 가진 저렴한 CPU를 만드는 게 낫지 않나 싶음
또는 RAM 채널 8개씩 가진 CPU 2개도 가능함
DDR5는 32GB가 360달러로 두 배 비싼데 대역폭은 두 배도 안 돼서 살 가치가 없음
RAM 채널을 더 많이 만들고 DDR4를 꽂는 편이 더 합리적임

Epyc를 원한다면 그렇게 가면 됨
다만 메인보드가 꽤 비쌀 수 있음

산업계가 잘못된 방향으로 갔다고 봄
비싼 DDR5로 넘어가는 대신, 가장 저렴한 CPU에도 8/16개 DDR4 채널을 지원하게 했어야 함
32GB DDR5-4800 모듈은 360달러이고 32GB DDR4-3200 모듈 두 개는 320달러라서, 용량은 두 배, 대역폭은 더 높고 가격은 더 낮음
DDR5는 그냥 바가지임

이전 형태에서는 2천 달러 “밖에” 안 했지만, 이 업데이트된 박스에서도 메모리 대역폭이 심각하게 부족함
하이브리드 추론을 위해 전용 GPU를 넣을 공간이 있는 모델도 몇 개 있지만, 개인적으로는 그만한 가치가 없음
Xeon이나 EPYC 빌드에 돈을 아껴두는 게 나음

비슷한 제품들은 왜 전부 128GB VRAM에서 딱 막히는지 모르겠음
이 가격이면 최소 224GB VRAM은 기대했음

495는 192GB를 지원할 예정임
메모리 버스에 따라 달라짐
128비트는 96GB, 256비트는 192GB, 512비트는 384GB, 1024비트는 768GB 정도로 볼 수 있음

GPU 제조사들은 데이터센터 제품을 팔아 이익을 모두 냄
마진이 낮은 소비자/홈랩 제품이 데이터센터 제품을 대체하는 걸 원하지 않기 때문에, 그런 제품의 VRAM을 일부러 제한해서 데이터센터 용도로 덜 매력적으로 만듦

이건 CUDA가 있는 Nvidia DGX Spark나, 128GB에 두 배 메모리 대역폭을 가진 Mac보다 조금 싼 정도임
Strix Halo의 장점은 원래 훨씬 강력한 그 머신들의 절반 가격이었다는 데 있었음
이 가격에 AMD 칩을 사는 건 미친 짓에 가까움
다만 하드웨어 시장 전체가 지금 미쳐 있어서, 안타깝게도 이것도 잘 팔릴 것 같음

M5 Max 최상위 모델만 AMD의 두 배가 넘는 메모리 대역폭을 갖고 있지만, 그런 구성은 1만 달러가 넘을 만큼 훨씬 비쌈
M5 Pro는 메모리 대역폭이 약간 더 높지만 현재는 최대 64GB DRAM까지만 가능함
이 작은 메모리 구성조차 AMD나 NVIDIA보다 비싸고, 작은 SSD가 아니라 LLM을 넣고 직접 양자화를 계산할 수 있을 정도의 정상적인 크기 SSD를 원하면 더 비쌈
예를 들어 4TB SSD와 64GB DRAM이면 5,600달러가 넘음
LLM 추론을 하려는 경우 Apple은 경쟁력 있는 해법으로 보이지 않음
가격이 훨씬 높고, 몇 개의 LLM을 저장하려면 많은 공간이 필요한데 SSD 확장도 제한적임
맞는 부분은 AMD Strix Halo 시스템이 예전에는 NVIDIA보다 훨씬 쌌지만 이제는 같은 가격이 됐다는 것뿐임
Strix Halo의 CPU는 NVIDIA보다 낫지만, NVIDIA GPU가 AMD GPU보다 나을 가능성이 크고 CUDA는 잘 동작할 것이 보장됨