__AMD Ryzen AI Halo__는 Zen 5 AMD Ryzen AI Max+ 395 프로세서(16 코어, 32 스레드)를 기반으로 구축된 진정한 미니 PC로, ROCm 또는 AMD 하드웨어를 통한 학습 개발을 간소화합니다. Max+ 395 프로세서에는 대부분의 중량 작업을 수행할 AMD Radeon 8060S 통합 그래픽과, 과거에는 활용도가 낮았으나 마침내 사용할 수 있게 된 NPU가 탑재되어 있습니다.

AMD Ryzen AI Halo

이 제품은 탈착 가능한 2 TB M.2 SSD와 256 GB/s 대역폭을 지원하는 128 GB 통합 LPDDR5x-8000 메모리를 갖춘 __단일 하드웨어 구성__으로 제공됩니다. 2 TB는 로컬 모델을 저장하기에 충분한 저장 용량이며, 128 GB는 시스템 운영을 위한 공간을 확보하면서도 몇 개의 적절한 크기의 모델을 메모리에 로드하기에 확실히 충분한 메모리입니다.

|
|
||||
|
|
16-core Zen 5 AMD Ryzen AI Max+ 395 |
20-core Arm (10P+10E) GB10 |
Up to 32-core (24P+8E) M3 Ultra |
Up to 16-core Zen 5 AMD Ryzen AI Max+ 395 |
|
|
Integrated 40 RDNA 3.5 Compute Unit AMD Radeon 8060S |
6144-CUDA-core GB20B |
Up to 80-core M3 GPU cores |
Up to Integrated 40 RDNA 3.5 Compute Unit AMD Radeon 8060S |
|
|
AMD XDNA 2 NPU |
5th Generation Tensor Cores |
Up to 32-core Neural Engine |
AMD XDNA 2 NPU |
|
|
128 GB LPDDR5x-8000 unified memory |
128 GB LPDDR5x unified memory |
Up to 512 GB unified memory |
Up to 128 GB LPDDR5x-8000 unified memory |
|
|
256 GB/s |
273 GB/s |
Up to 819 GB/s |
256 GB/s |
|
|
2 TB |
4 TB |
Up to 16 TB |
Up to 16 TB |

AI Halo는 Windows 11 Pro 또는 Linux가 사전 설치된 단일 하드웨어 구성으로 __3,999.99 USD에 구매 가능__합니다. 제품을 받은 후 시스템에 직접 OS를 설치할 수 있지만, 저희가 알기로는 AMD에서 '팩토리(factory)' Linux 및 Windows 설치 버전(패키징된 드라이버, 프로그램 및 모델 포함)을 제공하지는 않을 것입니다.

AMD는 Debian 13.4를 기반으로 한 커스텀 AMD Linux 배포판이 실행되는 Halo의 Linux 버전을 저희에게 보내주었습니다.

> hostnamectl
...
Operating System: AMD Ryzen AI Developer Platform 1 (rex)
...

아래에서 Ryzen AI Halo의 인터랙티브 CT 스캔을 확인해 보세요!

AMD Ryzen AI Halo CT 스캔

하드웨어

마케팅 이미지는 데이터센터 크기로 보여주지만, Halo는 실제로는 15cm(6인치) 정사각형 발자국만을 가진 매우 작은 박스이며 높이는 5cm(2인치)가 채 되지 않습니다. 무게는 1.2kg이지만, 이것을 배낭에 넣으려면 필요한 240W 전원 어댑터도 고려해야 합니다.

1/3

AMD Ryzen AI Halo의 박스 포장

전원 버튼과 모든 포트는 본체 뒷면에 위치해 있습니다: USB 3.2 Type-C 포트 4개, HDMI 2.1 포트, 그리고 . 후면 연결성 외에도 Wi-Fi 7 및 Bluetooth 5.4 기능을 탑재하고 있습니다. 전원 버튼에 가장 가까운 USB Type-C 포트는 USB-C Power Delivery(PD) 전원 입력 전용입니다.

1/4

Ryzen AI Halo 후면

쌓기 위한 명확한 구조적 특징은 없지만, 모서리 받침대와 모든 측면의 공기 흡입구 덕분에 Windows 및 Linux가 필요하거나 여러 대를 클러스터링하고 싶을 때 사용 가능할 것으로 보입니다.

Halo는 케이스 상단과 측면으로 공기를 빨아들이고(draw air in) 이를 히트 싱크를 통해 뒤쪽으로 내보내는(blown through) 두 개의 블로어 팬을 포함하고 있습니다. 이 박스는 보통 조용하게 작동하지만, 내부 프로세서의 120W TDP를 방출하기 위해 팬 속도를 높일 수 있습니다.

AMD Ryzen AI Halo CT 스캔 - 냉각

가장 좋은 기능은 케이스 바닥 주변을 감싸는 흰색 빛의 고리입니다(수면 시 파란색으로 깜빡임). 빛이 많이 새어 나오지는 않으며 끌 수도 있지만, 과하지 않으면서도 멋진 느낌을 줍니다.

Ryzen AI Halo 라이트 바

분해 분석 (Teardown)

밀접하게 통합된 미니 PC이다 보니 내부를 볼 것이 많지 않습니다. 하지만 제거 가능한 자석 발판 아래의 나사 네 개만 풀면 하단 커버를 들어 올릴 수 있습니다.

1/2

AMD Ryzen AI Halo의 하단 커버 내부

제거 가능한 M.2 2280 SSD는 추가적인 분해 없이 쉽게 접근할 수 있습니다. 컴퓨트 코어(compute core)가 노출되도록 상부 케이스를 제거하려면 몇 개의 연결 부위만 처리하면 됩니다.

1/2

AMD Ryzen AI Halo의 하단 커버 내부 - 주석 설명

코어는 꺼낼 수 있지만, 그 외에 할 수 있는 작업은 많지 않습니다. 케이스 하단을 처음 제거했을 때 보이는 하단 금속 플레이트는 4개의 볼트로 분리할 수 있지만, 하단의 서멀 컴파운드 (thermal compound)를 건드리지 않기 위해 제거하지 않았습니다.

1 of 3

Ryzen AI Halo 코어

성능

AMD Ryzen AI Max+ 395 (Strix Halo) 프로세서는 2025년 봄부터 사용 가능했으며, Halo 모델도 마찬가지입니다. 2 TB SSD와 128 GB 메모리는 예상했던 대로이지만, 이는 Framework Desktop, Beelink GTR9 Pro, X+ Rival, 그리고 __ACEMAGIC M1A PRO__와 같은 다른 하드웨어에서 이미 본 적이 있는 사양입니다. 저희는 이 제품이 기대치에 부합하는 성능을 낼 수 있음을 보여주기 위해 몇 가지 벤치마크 (benchmarks)를 실행했습니다. 하지만 이 제품의 주요 초점은 다음 섹션에서 다룰 'batteries included' 소프트웨어에 있습니다.

테스트 방법

이전의 "AI" 특화 하드웨어의 경우, 하드웨어 성능의 대표값을 측정하기 위해 __MLPerf__와 __Procyon__을 사용했습니다. 하지만 로컬 호스팅 LLM (locally hosted LLMs) 및 에이전틱 워크플로 (agentic workflows)가 더욱 심화됨에 따라, 저희는 조금 더 깊이 있는 접근을 시도하고 있습니다.

이번 테스트에서는 llama.cpp와 함께 패키징된 벤치마킹 도구인 llama-bench를 사용하는 데 집중했습니다. 저희는 llama-bench를 통해 적용할 수 있는 테스트뿐만 아니라 통찰력을 제공할 수 있는 다른 프로그램들을 여전히 탐색 중이므로, 테스트 선정에 대한 건설적인 피드백은 언제나 환영합니다! 저희는 거의 모든 벤치마크와 벤치마킹 결정이 "그것은 오직 이러한 특정 사례에만 적용된다"라는 답변에 직면할 수 있다는 것을 발견했습니다. 모든 각도를 다 다룰 수는 없지만, 일단은 이 하드웨어에서 수행한 테스트 결과를 공유하겠습니다.

LLM 초당 토큰 (token per second) 성능은 호환성 차이에 매우 민감할 수 있으며 변동 폭이 큽니다. 따라서 아래 결과들을 염두에 두고 여러 소스의 결과를 함께 고려하시기 바랍니다.

llama-bench

llama-bench 또는 llama.cpp 자체에 익숙하지 않은 분들을 위해 설명하자면, llama.cpp는 대규모 언어 모델(Large Language Models, LLM)(GGUF 형식)을 로드하고 실행하는 데 사용할 수 있는 오픈 소스 (open source) 추론 엔진 (inference engine)입니다. llama.cpp는 운영의 단순함과 하드웨어 호환성 덕분에 LLM을 실행하는 데 널리 채택되어 왔습니다. 이 엔진은 LLM을 구성하는 숫자 리스트를 받아 하드웨어별 드라이버와 인터페이스하며 모델의 실행을 조율합니다.

lama-bench는 llama.cpp와 함께 패키징되어 있으며 이를 지원하는 많은 명령줄 인터페이스 (Command-Line Interface, CLI) 유틸리티 (utilities) 중 하나입니다. 다양한 옵션 및 설정과 함께, llama-bench는 두 가지 주요 테스트를 수행합니다: 프롬프트 처리 (prompt-processing, pp)와 토큰 생성 (token generation, tg)이며, 이는 추론의 프리필 (pre-fill) 및 디코딩 (decoding) 단계로도 알려져 있습니다. 프롬프트 처리는 LLM 추론 과정에서 LLM이 사용자가 말한 내용을 '읽어 내려가는' 부분이며, 토큰 생성은 사용자에게 토큰을 다시 출력하기 시작하는 단계입니다.

명령줄에서 사용하면 아래와 같이 (마크다운 형식으로) 결과를 출력하지만, 저희는 더 상세한 결과를 위해 csv 형식으로 출력합니다.

lama-bench 마크다운 결과 형식

기본 llama-bench 테스트

첫 번째 테스트는 사용자가 512개의 토큰을 제공하고 LLM이 이에 응답하여 128개의 토큰을 생성하는 것을 시뮬레이션하는 기본 llama-bench pp512/tg128 설정입니다. 저희는 Qwen 3.6 35B A3B(Q4_K_M), Gemma 4 31B IT(IQ4_XS), 그리고 GLM 4.7 Flash(Q8_0) 모델로 테스트를 진행했습니다. 이 모델들은 최근 많은 관심을 받고 있는 17-32 GB 규모의 모델들입니다. 테스트 파라미터와 마찬가지로 선호되는 모델은 항상 변하지만, 이 모델들은 현재 선호되는 LLM들의 성능에 대한 개념을 파악하는 데 도움이 될 것입니다.

우리는 AMD Halo를 Framework Desktop(AI Max+ 395, 128 GB), 128 GB의 통합 메모리를 갖춘 M2 Ultra(76-core GPU) Mac Studio, 그리고 512 GB의 통합 메모리를 갖춘 M3 Ultra(80-core GPU) __Mac Studio__와 함께 테스트했습니다. AI Halo와 Framework Desktop의 경우 ROCm/HIP 및 Vulkan (백엔드 (backends))를 모두 사용했습니다. 이 장치들 중 어느 것도 직접적인 경쟁 상대는 아니지만, 어느 정도의 맥락을 제공합니다. 참고로 저희 회사 소유주가 Framework에 투자했습니다.

1 of 2

llama-bench Default Test(Flash Attention 활성화)

Apple Silicon Mac Studio들이 AMD Ryzen AI Max+ 395 머신보다 성능이 뛰어납니다. 이는 주로 Max+ 395의 256 GB/s에 비해 훨씬 높은 (메모리 대역폭) 때문일 가능성이 큽니다.

LLM 추론 (inference)의 프롬프트 처리 (prompt processing, pp) 부분은 일반적으로 연산 제한적 (compute-bound)입니다. CPU/GPU/프로세서가 사용자의 입력을 파싱하면서 대량의 계산 배치를 수행해야 하기 때문입니다. 이는 밀집 모델 (dense model)인 Gemma 4에서 확인할 수 있는데, Apple Silicon과 Max+ 395는 단순히 메모리 대역폭을 비교했을 때 예상되는 것보다 더 근소한 성능 차이를 보입니다. 우리는 희소 모델 (sparse model)인 Mixture of Experts (MoE) 모델인 Qwen 3.6 35B A3B 및 GLM 4.7 Flash의 프롬프트 처리는 연산에 덜 의존하기 때문에, Mac의 메모리 대역폭이 앞서 나갈 수 있게 해준다고 믿습니다.

토큰 생성 (token generation, tg)은 일반적으로 훨씬 더 메모리 대역폭 제한적 (memory bandwidth-bound)입니다. 이는 LLM으로부터 많은 데이터에 접근해야 하기 때문입니다. 프로세서는 일반적으로 계산을 위해 데이터가 전달되기를 기다리게 되며, 밀집 모델인 Gemma 4의 경우 Apple Silicon 장치들이 초당 토큰 수 (token per second) 성능에서 2~3배 더 높은 성능을 낼 수 있었습니다.

위의 테스트에서 Ryzen AI Max+ 395의 Vulkan 및 ROCm/HIP 백엔드 사이에는 명확한 승자가 없었습니다. 가장 성능이 좋은 백엔드는 호환성, 모델 아키텍처 (model architecture), 컨텍스트 크기 (context size), 특정 하드웨어 및 소프트웨어 최적화와 같은 많은 요인에 따라 달라집니다. 두 백엔드 모두 지속적인 업데이트를 받고 있다는 점은 말할 것도 없습니다.

1 of 2

llama-bench Default Test - AMD Ryzen AI Max+ 395 Backends

이 테스트는 Flash Attention (Flash Attention)이 활성화된 상태에서 수행되었으나, 활성화하더라도 항상 최상의 성능을 보장하는 것은 아니므로 사용자의 특정 시스템에서 직접 테스트를 수행하는 것이 가장 좋습니다.

컨텍스트 증가에 따른 성능 - 에이전트 시뮬레이션 (Agentic Simulation)

LLM의 에이전트적 (Agentic) 활용이 훨씬 더 대중화되고 있으므로, 우리는 이러한 시나리오를 시뮬레이션하기 위해 약간 더 복잡한 llama-bench 명령어를 사용하여 llama-bench 테스트를 고안했습니다. 이론적으로 이는 에이전트에게 지침을 제공하고, 에이전트가 도구 호출 (tool calls)을 수행하거나 답변을 제공하도록 하는 상황을 시뮬레이션합니다. 중요한 측점은 컨텍스트 (context) 크기가 증가함에 따라 성능이 어떻게 저하되는지 관찰하는 것입니다.

llama-bench -m <model> \
-p 512 \
-n 64 \
...

• -p 및 -n 플래그는 각각 프롬프트 처리 (prompt processing) 및 토큰 생성 (token generation) 테스트에서 사용할 토큰 수를 지정합니다. 이 명령어는 pp512/tg64 테스트를 수행합니다. -b 및 -ub는 배치 (batch) 및 마이크로 배치 (micro-batch) 크기를 지정합니다. 배치 크기는 llama.cpp가 처리를 위해 그룹화할 토큰의 수이며, 마이크로 배치 크기는 llama.cpp가 계산을 위해 단일 그룹으로 하드웨어에 전송할 토큰의 수입니다. 일반적으로 값이 높을수록 병렬화 (parallelization)를 통해 더 높은 속도를 낼 수 있지만, 더 많은 작업 메모리 (working memory) 공간이 필요합니다. 우리는 512개의 토큰만 처리하고 있으므로 이 테스트에는 영향을 미치지 않지만, 이전 테스트 결과 -b / -ub를 2048로 설정했을 때 전반적으로 가장 빠른 속도가 나타났습니다. -fa는 Flash Attention (Flash Attention)을 활성화하거나 비활성화합니다. 기본값은 'auto'이지만, 일반적으로 더 효율적인 메모리 사용을 위해 켜두는 것이 좋습니다. 모델 및 런타임 (runtime)과의 호환성은 다양할 수 있습니다. -ngl은 GPU로 오프로드 (offload)할 모델 레이어 (model layers)의 수를 제어합니다. 우리는 모든 계산이 GPU에서 수행되도록 999로 설정했습니다. -r은 결과를 집계하여 평균을 내기 전 각 테스트가 반복되는 횟수를 제어합니다. 기본값은 5이지만, 명시적으로 포함했습니다. -d

는 LLM의 '메모리'인 컨텍스트 (context)에 이미 존재하는 토큰의 수를 지정합니다. 대부분의 인자(argument)에 쉼표로 구분된 여러 값을 입력하면, 일련의 테스트 과정에서 다양한 순열 (permutations)을 실행할 수 있습니다.

lama-bench가 테스트를 연속적으로 실행할 수 있는 능력이 있음에도 불구하고, 우리는 테스트 실행 중 발생할 수 있는 열 흡수 (thermal soak) 현상을 완화하기 위해 테스트 사이에 지연 시간을 포함하는 자체 루프를 생성하는 짧은 스크립트를 작성했습니다.

1 of 2

컨텍스트 크기 증가에 따른 추론 성능 저하 (Inference Performance Degradation)

컨텍스트 크기가 증가함에 따라 세 모델 모두 상당한 성능 저하를 보이며, 프리필 (pre-fill, pp) 또는 디코딩 (decoding, tg) 단계 모두에서 이를 반드시 고려해야 함을 알 수 있습니다. (Vulkan 백엔드를 사용하는 Gemma 4의 경우, 65,536 토큰 컨텍스트에서 30분 이내에 완료되지 않았습니다.)

이것이 이 세 모델에서 기대할 수 있는 초당 토큰 (token/second) 속도 유형입니다. 하지만 이제 테스트 방법론에 너무 주의를 빼앗기고 있는 것 같으니, 다시 AI Halo로 돌아가겠습니다.

전력 및 발열 (Power and Thermals)