Nvidia의 DGX Spark와 그 GB10 SoC는 목적에 맞게 제작된 로컬 AI 개발자 샌드박스(sandbox)가 어떠해야 하는지에 대한 템플릿을 제시했습니다. 표준화된 하드웨어 플랫폼과 강력한 퍼스트 파티(first-party) 소프트웨어 지원, 그리고 철저한 문서화의 결합은 로컬 AI에 관심 있는 사람들이 베어메탈(bare-metal) 박스를 구매하여 모든 것을 처음부터 구축하는 것보다 더 빠르게 실행할 수 있게 해줍니다. 특히 급격히 진화하는 AI 분야에서는 더욱 그렇습니다.

AMD의 Ryzen AI Max+ 395, 즉 Strix Halo SoC는 지금까지 GB10에 대항하는 가장 강력한 x86 스포일러입니다. 이 제품은 동일한 128GB의 통합 메모리(unified memory), 강력한 16C/32T Zen 5 CPU, 그리고 2560개의 RDNA 3.5 스트림 프로세서를 갖춘 강력한 Radeon 8060S 통합 GPU를 탑재하고 있습니다. 또한 범용 Radeon GPU 외에 해당 가속기를 실험하고자 하는 사용자들을 위한 AMD XDNA 2 NPU도 갖추고 있습니다. 그리고 GB10 박스들이 현재로서는 Linux 전용인 반면, 이 제품은 Windows와 Windows 앱을 네이티브로 실행할 수 있습니다.

AMD의 파트너들은 약 1년 반 동안 이 하드웨어를 중심으로 구축해 왔으며, 이 시점에서 이는 잘 알려진 사양입니다. 하지만 일단 하드웨어를 손에 넣더라도, AI 워크로드(workloads)를 위해 이를 설정하려면 최상의 성능과 호환성을 위해 모든 소프트웨어 구성 요소를 올바르게 정렬할 수 있도록 흩어져 있는 GitHub 페이지, Reddit 스레드, 그리고 AMD 공식 문서를 뒤져야 합니다.

AMD는 오늘 로컬 AI를 최우선으로 하는 퍼스트 파티 턴키(turn-key) Strix Halo 미니 PC인 Ryzen AI Halo를 출시하며 이 모든 것을 바꾸려 하고 있습니다. 이 시스템은 Windows 또는 Linux로 구성할 수 있으며, 오늘 우리가 테스트 중인 Linux 형태의 경우, 전체 AMD ROCm 소프트웨어 스택과 선호하는 모델로 즉시 토큰(tokens) 생성을 시작하는 데 필요한 다양한 애플리케이션이 사전 설치되어 있습니다.

지원 측면에서 AMD는 Nvidia의 방식을 그대로 차용하여, 로컬 AI 탐험가들의 도약판 역할을 할 수 있도록 AI Halo(및 더 일반적으로 Strix Halo 시스템)를 활용한 다양한 로컬 AI 애플리케이션과 사용 시나리오를 다루는 자체 플레이북(playbooks) 세트를 만들어냈습니다.

그랜드 투어

(이미지 출처: Tom's Hardware)

AI Halo는 미묘하게 색이 변하는 마감 처리가 된 플라스틱 쉘로 감싸여 있습니다. 전면과 측면을 둘러싸고 있는 커다란 라이트 바(light bar)는 시스템 상태를 나타냅니다. 흰색은 깨어 있는 상태를 의미하며, 파란색이 깜빡이는 것은 (사용자가 절전 모드를 허용한다는 가정하에) 절전(sleep) 상태임을 나타냅니다. 빨간색은 오류(fault)를 의미합니다. 만약 LED 스트립이 방해가 된다면, 사전 설치된 AI Developer Center 앱을 사용하여 끌 수 있습니다.

AI Halo는 상단과 측면에 공기 흡입구(air intakes)가 있으며, AMD는 이 흡입구 중 어느 것도 막지 말라고 주의를 주고 있습니다. 매뉴얼대로 사용한다면, 이 시스템은 공간이 제한적이거나 여러 노드를 사용하는 홈 랩(home lab) 구성 시 유닛을 옆으로 눕혀 귀중한 공간을 절약할 수 있는 유연성이 다소 떨어진다는 것을 의미합니다.

진취적인 커뮤니티 구성원들은 이러한 제한 사항을 해결하기 위해 3D 프린팅된 스페이서(spacers)와 라이저(risers)를 설계하여 공유할 가능성이 높지만, 홈 랩 및 프로덕션 환경(production environments)에서 사용하도록 의도된 장치라는 점을 고려할 때, 방향 설정의 유연성 부족은 작지만 짜증스러운 실수입니다.

(이미지 출처: Tom's Hardware)

후면을 보면, AI Halo에는 Nvidia GB10 박스에서 볼 수 있는 것과 동일한 세 개의 USB Type-C 포트가 있으며, 포함된 240W 어댑터를 통한 전원 입력을 위한 포트가 하나 더 있습니다. 전원 플러그에 가장 가까운 포트는 “USB 3.2” 속도로 작동하며, 3번과 4번 포트는 더 빠른 속도의 USB 4입니다. 이 포트들은 모두 DisplayPort Alt Mode와 호환되며, 선호에 따라 HDMI 2.1 포트를 디스플레이 출력용으로 사용할 수도 있습니다.

유선 네트워킹의 경우, AI Halo는 10 Gigabit Ethernet 포트를 제공합니다. 이는 분명 빠른 속도이며, AMD는 해당 인터페이스를 사용하여 여러 대의 AI Halo를 연결하는 클러스터링(clustering) 플레이북을 작성했습니다. 하지만 이는 DGX Spark 및 그와 유사한 기기들에 탑재된 200Gbps ConnectX-7 NIC와 비교하면 완전히 다른 리그의 이야기입니다.

(이미지 출처: Tom's Hardware)

우리는 AI Halo를 완전히 분해하여 내부를 다 드러내고 싶지는 않았지만, 시스템 바닥에 있는 네 개의 고무 발(rubber feet)은 각각 한 쌍의 작은 자석으로 고정되어 있으며, 내부로 더 들어가기 위해 제거해야 할 것으로 추정되는 네 개의 나사를 숨기고 있습니다.

이 시스템의 사양을 빠르게 살펴보겠습니다:

<table><caption>Ryzen AI Halo</caption><tbody><tr><td class="firstcol "><p><strong>CPU</strong></p><p><br></p></td><td><p>AMD Ryzen™ AI Max+ 395 프로세서 (Processor) — 16 코어, 32 스레드, “Zen 5” 아키텍처 (architecture)</p></td></tr><tr><td class="firstcol "><p><strong>GPU</strong></p></td><td><p>AMD Radeon™ 8060S 통합 그래픽 (Integrated Graphics)</p></td></tr><tr><td class="firstcol "><p><strong>NPU</strong></p></td><td><p>AMD XDNA™ 2 NPU</p></td></tr><tr><td class="firstcol "><p><strong>SoC TDP</strong></p></td><td><p>120W</p></td></tr><tr><td class="firstcol "><p><strong>Memory</strong></p></td><td><p>128GB LPDDR5X, 8000 MT/s, 256GB 메모리 대역폭 (memory bandwidth)</p></td></tr><tr><td class="firstcol "><p><strong>Storage</strong></p></td><td><p>2TB NVMe SSD</p></td></tr><tr><td class="firstcol "><p><strong>USB</strong></p></td><td><p>USB-C 포트 3개 (USB 3.2 Gen 2 1개, USB 4 2개), 전원 입력용 USB-C 1개</p></td></tr><tr><td class="firstcol "><p><strong>Networking</strong></p></td><td><p>1x 10 Gigabit Ethernet</p><p>Wi-Fi 7</p><p>Bluetooth 5.4</p></td></tr><tr><td class="firstcol "><p><strong>Display outputs</strong></p></td><td><p>USB-C DisplayPort Alt Mode</p><p>HDMI 2.1</p></td></tr><tr><td class="firstcol "><p><strong>Operating system</strong></p></td><td><p>Linux (커스텀 Debian) 또는 Windows 11</p></td></tr><tr><td class="firstcol "><p><strong>Dimensions</strong></p></td><td><p>150 x 150 x 45.4 mm (5.9 x 5.9 x 1.79 in)</p></td></tr></tbody></table>

지속되는 RAMpocalypse와 NANDpocalyse 속에서, 128GB RAM과 대용량 SSD를 갖춘 Ryzen AI Max+ 395 시스템은 어디서든 128GB 구성을 재고로 찾을 수 있다고 가정하더라도 결코 저렴하지 않습니다.

그러한 배경 속에서도, 우리가 오늘 테스트하고 있는 AI Halo의 3,999달러라는 가격표는 비싼 제안입니다. 이 가격은 Asus Ascent GX10(비록 1TB 구성이지만)과 같은 Nvidia GB10 시스템의 하위권 수준에 위치합니다.

로컬 AI 워크로드(local AI workloads)를 대상으로 진행했던 Strix Halo 대 GB10의 이전 테스트에서는 Nvidia의 플랫폼이 결정적으로 우위에 있었기에, 이는 AI Halo가 처하기에 잠재적으로 난처한 위치일 수 있습니다. 무엇이 변했는지 자세히 파헤쳐 보겠습니다.

• 추가 정보: 최고의 그래픽 카드 (Best Graphics Cards)
• 추가 정보: GPU 벤치마크 및 계층 구조 (GPU Benchmarks and Hierarchy)
• 추가 정보: 모든 그래픽 콘텐츠 (All Graphics Content)

이번 리뷰를 위해 테스트할 추론 엔진(inference engines)과 AI 모델의 범위를 모두 확장하고 싶었지만, 곧바로 문제에 직면했습니다. Ryzen AI Halo에는 vLLM 버전이 사전 설치되어 제공되지만, 실행을 시도했을 때 Qwen 3.6-35B-A3B와 호환되지 않았기 때문에, 대신 예전부터 신뢰할 수 있었던 llama.cpp로 돌아갔습니다.

우리는 llama.cpp를 사용하여 세 가지 모델을 테스트했습니다: 최근 매우 인기를 끌고 있는 비교적 가벼운 전문가 혼합(mixture-of-experts, MoE) 모델인 Qwen 3.6-35B-A3B, 토큰당 모든 파라미터를 활성화하는 최근의 비교적 가볍지만 밀집된(dense) 모델인 Google의 Gemma 4 12B, 그리고 꽤 오랫동안 사용 가능했던 더 큰 전문가 혼합(mixture-of-experts) 모델인 gpt-oss-120B입니다. 우리는 이 모델들의 Unsloth GGUF 버전을 Q4_K_M 양자화(quantizations) 상태로 사용했습니다.

이번에는 벤치마크 하네스 (benchmark harness)로 llama-benchy를 사용합니다. llama-benchy를 사용하면 llama.cpp뿐만 아니라, OpenAI 호환 엔드포인트 (OpenAI-compatible endpoint)를 제공할 수 있는 모든 모델 러너 (model runner)로부터 llama-bench와 유사한 성능 결과를 얻을 수 있습니다. 이는 추론 엔진 (inference engines) 간의 성능을 비교할 때 매우 유용합니다.

(이미지 출처: Tom's Hardware)

먼저, Qwen 3.6-35B-A3B를 사용하여 지연 시간 (latency) 및 처리량 (throughput) 성능을 살펴보겠습니다:

Tom's Hardware

Tom's Hardware

다음으로, 밀집형 (dense) Gemma 4 12B를 사용한 결과입니다:

Tom's Hardware

Tom's Hardware

마지막으로, gpt-oss-120B를 사용한 결과입니다:

Tom's Hardware

Tom's Hardware

적어도 llama.cpp를 기준으로 볼 때, 단일 사용자 LLM 서빙 (serving) 시 AI Halo의 GB10 대비 상대적 성능은 우리가 몇 달 전 Corsair AI Workstation 300을 테스트했을 때와 크게 다르지 않습니다. 초당 토큰 수 (tokens-per-second) 처리량은 Dell Pro Max GB10보다는 여전히 느리지만 괜찮은 수준이지만, 첫 토큰 생성 시간 (time-to-first-token) 지연 시간은 컨텍스트 길이 (context length)가 길어짐에 따라 GB10에 비해 크게 뒤처집니다.

lama.cpp가 프롬프트 캐싱 (prompt caching) 기능을 사용할 수 있고 (또한 사용하도록 설정되어 있고) 실제 시나리오라면 이러한 차이가 덜 두드러질 수 있습니다. 하지만 컨텍스트 길이가 빠르게 늘어날 수 있는 장시간 지속되는 코딩 워크플로 (coding workflows)의 경우, 이러한 최악의 상황 (worst-case) 동작을 유의하는 것이 중요합니다.

종합적으로, Ryzen AI Halo는 우리가 테스트했던 이 플랫폼의 다른 구현체들과 비교했을 때 Strix Halo의 추론 성능에 있어 특별한 마법을 보여주지는 않습니다. 초당 토큰 수 (tokens-per-second) 처리량은 수용 가능한 수준이지만, 첫 토큰 생성 시간 (time-to-first-token) 지연 시간은 긴 컨텍스트 상황에서 상호작용이 불가능한 수준까지 빠르게 상승할 수 있습니다.

테스트의 극한 상황에서는 모델이 응답을 시작할 때까지 2분에서 4분을 기다려야 할 수도 있으며, 이는 일단 토큰이 흐르기 시작하는 속도가 허용 가능한 수준이라 할지라도 코딩 어시스턴트 (coding assistant)와 같은 상호작용형 워크로드에는 방해가 될 수 있습니다.

(이미지 출처: Tom's Hardware)

또한 지난 2월에 실시했던 것과 동일한 기본적인 Flux.2 Klein 테스트를 사용하여 ComfyUI 이미지 생성 성능에 대해서도 동일한 점검을 수행했으며, ComfyUI 작업의 완료 시간 (time-to-completion)에서 나타났던 것과 동일한 격차가 여전히 존재함을 확인했습니다. GB10 GPU의 더 큰 셰이더 (shader) 구성 요소는 Radeon 8086S보다 이미지 생성을 훨씬 더 빠르게 처리합니다.

(이미지 출처: Tom's Hardware)

마지막으로, Geekbench 6를 통해 CPU 성능을 점검했습니다. AI Halo의 16코어 32스레드 Zen 5 CPU는 싱글 스레드 (single-threaded) 및 멀티 스레드 (multi-threaded) 성능 모두에서 GB10의 20코어 Arm CPU 컴플렉스 (complex)보다 우위를 점하고 있으므로, 코드 컴파일 (code compilation)과 같은 작업은 AI Halo에서 잠재적으로 더 빠를 수 있습니다. 하지만 이러한 승리가 GB10의 전반적으로 더 뛰어난 AI 성능을 간과하게 만들어서는 안 됩니다.

발열 성능 및 소음 수준

Ryzen AI Halo를 분해하여 냉각 시스템을 직접 확인하고 싶지는 않았지만, 이 리뷰의 서두에서 논의했듯이 이 시스템은 충분한 공기 흐름을 허용하기 위해 전면, 상단 및 측면에 통풍구를 갖추고 있으며, 후면 통풍구를 통해 제법 큰 크기의 구리 히트싱크 (copper heatsink)를 볼 수 있습니다.

Linux에서 시스템 온도를 기록하는 것은 Windows보다 더 어렵지만, 일반적인 워크로드를 통해 AI Halo를 실행했을 때 CPU 또는 GPU 온도가 50°C 중반 범위를 넘는 경우는 보지 못했습니다. 이 모든 것은 이 기기가 내부 칩을 냉각하는 작업에 충분히 적합하다는 것을 시사합니다.

(이미지 출처: Tom's Hardware)

소음의 경우, Ryzen AI Halo는 유휴 (idle) 상태에서도 두 개의 블로워 팬 (blower fans)이 가청 수준으로 작동하므로 항상 실내에 일정 수준의 소음을 더하게 됩니다. 그리고 ComfyUI 생성 워크로드 하에서는 해당 플랫폼을 대표하기 위해 사용 중인 Dell Pro Max GB10 박스보다 훨씬 더 시끄러워집니다.