Lemonade 로컬 AI 서버에서 Llama.cpp를 사용한 AMD ROCm 대 Vulkan 성능 비교

A Phoronix Premium 독자가 최근 Vulkan과 AMD ROCm 백엔드 간의 AI 성능에 대한 새로운 벤치마크 결과를 요청했습니다. 오늘날 상황이 어떻게 전개되는지 알아보기 위해서입니다. 여기서는 AMD Radeon 그래픽을 사용하고 Lemonade 로컬 AI 서버를 사용하여, ROCm과 Vulkan Llama.cpp 백엔드 간의 차이를 탐색하는 두 개의 별도 시스템에 대한 새로운 벤치마크 결과가 있습니다.

이전에 AMD RDNA4에서 Llama.cpp를 이용한 RADV Vulkan 대 AMD ROCm 성능을 살펴본 것이 거의 1년 전입니다. 그때는 Llama.cpp의 Vulkan 백엔드를 사용하는 것이 당시의 AMD ROCm보다 더 빠른 모델들이 있었습니다.

오늘 테스트에서는 재현성을 쉽게 확보하기 위해 Lemonade 로컬 AI 서버 바이너리 2026.39.1을 사용했습니다. 이 버전은 내장된 벤치마킹 지원 기능을 사용합니다. Lemonade 2026.39.1은 Llama.cpp b10825를 사용합니다.

이번 새로운 ROCm 대 Vulkan 테스트에는 두 개의 시스템이 사용되었습니다. 하나는 AMD Radeon AI PRO R9700을 탑재한 System76 Thelio Major 워크스테이션이고, 다른 하나는 AMD Ryzen AI Max+ 395 Strix Halo를 탑재한 Framework Desktop입니다. 완전히 다른 하드웨어와 약간 다른 소프트웨어 스택을 사용하여 Lemonade/Llama.cpp를 이용한 Vulkan 대 ROCm의 차이점을 명확하게 보여줍니다. Phoronix가 22년 이상 매일 리눅스 벤치마킹을 할 수 있도록 도와준 Phoronix Premium 서포터들에게 감사드립니다.