지난주 Amazon의 ASRock 공식 스토어에서 Arc Pro B70 (32GB)을 $1,299에 구매했습니다. (B65 모델도 32GB이지만 더 느렸고, 단지 $100 저렴한 $1,199였기 때문에 저는 '과감하게 지출'했습니다.) 당연히 동일한 VRAM과 최고의 속도를 위해 5090을 원했지만, 현재 Newegg에서는 5090이 $6,500 이상에 거래되고 있습니다 (그리고 개인적으로 중고 하드웨어 구매에는 너무 큰 두려움을 가지고 있어서), 그래서 32GB Intel 카드가 얼마나 근접한 성능을 내는지 확인해 보고 싶었습니다. 처음 박스에서 꺼냈을 때는 정말 좋지 않았지만, 몇 가지 설정을 변경한 후 약 5090의 절반 수준까지 끌어올렸는데, 이는 1/5 가격($41/GB 대 $200+/GB)으로 볼 때 굉장한 트레이드오프라고 느껴집니다. 그리고 물론 LLM 작업뿐만 아니라 렌더링이나 시뮬레이션 같은 다른 창작 워크로드에도 좋습니다. 이 게시물을 통해 누군가 돈을 절약하고 비(非)NVIDIA 하드웨어를 탐색하는 데 도움이 되기를 바랍니다! 그리고 말할 필요는 없겠지만, 저는 Intel/ASRock과 어떤 식으로든 제휴 관계가 아닙니다, 하하.
Qwen3.8-27B Q6, ~3k 토큰 프롬프트, MTP 사용 시:
Arc Pro B70: RTX 5090
가격 $1,299
프롬프트 처리 속도 ~960 tok/s
생성 속도 ~52 tok/s
따라서 돈의 5배를 들여서 생성 속도는 약 2배, 프리필 속도는 약 3배 수준입니다. 만약 누군가 어떻게든 5090을 MSRP $1,999에 찾을 수 있다면 축하드립니다, 하지만 물론 그것은 더 저렴한 Intel 카드의 가치를 떨어뜨릴 것입니다.
5090의 수치는 제 컴퓨터가 아닌 다른 사람들의 게시물(Hugging face에서 토론 글 발견)에서 가져온 것이며, 저는 NVIDIA를 위해 희생할 개인적인 돈이 없기 때문입니다, 헤헤. 제 컴퓨터 사양은 다음과 같습니다: Threadripper 1950X (회사 폐업으로 물건을 버리면서 5년 전 $100에 구함), 128GB DDR4 (이번 주 B70과 함께 새로 업그레이드함, DDR4는 DDR5보다 가격이 <1/2임), 오래된 x399m Taichi PCIe 3.0 메인보드 (안타깝게도 GPU의 PCIe 5 지원을 사용할 수 없지만, 모델이 VRAM에 로드되면 중요하지 않으므로 MoE(Mixture of Experts)에만 영향을 미칩니다), Ubuntu headless/server 24.04입니다.
스크린샷은 통계(내비게이션과 채팅 사이)를 보여주며, 제가 집 사무실에서 해당 장치에 있는 Intel GPU로 Qwen 모델을 llama-server를 통해 실행했을 때의 결과입니다. 만약 가지고 있거나 구한다면, 이 방법을 사용해서 성능을 최적화하세요! Kernel 6.17 이상 (저는 Ubuntu의 7.0 HWE 커널을 사용했습니다), Resizable BAR 활성화 (CSM 비활성화 필요), 그리고 ppa:kobuk-team/intel-graphics에서 Intel의 compute runtime을 사용해야 합니다. 처음 작동시키기가 정말 어려웠습니다 (하지만 제 오래된 마더보드 문제일 수도 있습니다). 왜냐하면 BIOS가 해당 기능을 사용하는 카드가 장착되어 있을 때는 CSM 자체를 비활성화하는 것조차 허용하지 않았기 때문입니다 (이전에 저는 터미널 렌더링만 가능한 약 $14짜리 GeForce 210 "GPU"를 가지고 있었습니다). 게다가 이러한 기능들을 사용하기 위해서는 BIOS를 3.80에서 4.03으로 플래시해야 했습니다.
Mesa를 26.x로 업그레이드하세요 (ppa:kisak/kisak-mesa). Ubuntu 24.04의 Mesa 25.2는 이 카드에서 매우 느립니다. 정말 터무니없이 느려서, 이 업데이트만으로 ollama에서 Vulkan을 사용할 때 생성 속도가 약 3배 빨라졌습니다. 만약 Vulkan(ollama, LM Studio 등)을 계속 사용한다면, KV cache를 f16으로 유지하세요. 모든 양자화된 KV (q8_0/q4_0)는 Vulkan에서 엄청난 생성 지연(낮은 컨텍스트에서는 1.75배, 64k+ 컨텍스트에서는 3배 이상) 패널티를 유발합니다. 따라서 KV VRAM을 줄이는 것이 속도를 희생시키는 결과를 초래했고, 이는 매우 혼란스럽고 짜증스러웠습니다.
대신 다음과 같이 하세요: SYCL (Intel oneAPI)로 llama.cpp를 빌드하고 llama-server를 실행하세요. ollama에는 SYCL 백엔드가 없지만, llama-server는 OpenAI와 호환되는 API를 가지고 있습니다. SYCL을 사용하면 q8_0 KV를 사용할 수 있으며 (Vulkan에서처럼 양자화된 KV로 인한 지연이 없고, 훨씬 더 많은 컨텍스트를 담을 수 있습니다!), --spec-type draft-mtp --spec-draft-n-max 4 명령어로 MTP를 활성화할 수 있습니다. 또한 주목할 점은, 기본적으로 Vulkan을 사용하는 llama-server는 전체 32GB VRAM에 접근하지 못하는 경우가 있다는 것입니다 (약 29GB만 확인됨). 반면 SYCL은 가능합니다. 물론 나중에 알고 보니 이는 Vulkan의 auto-fit 문제였고, --fit off와 -c를 사용하여 컨텍스트를 제공하면 전체 32GB를 사용할 수 있도록 설정할 수 있습니다.
Qwen3.8-27B Q6을 사용하여 하루 종일 만지작거리고 조정하는 과정을 거치며 개선된 성능은 다음과 같습니다 (프롬프트/생성 토큰/초):
| 컨텍스트 크기 | 16k 컨텍스트 | 64k 컨텍스트 | 최대 컨텍스트 |
|---|
| 장치 | ollama, Mesa 25.2 | 137 / 6.8 (테스트 안 함) | 224k (q8/q4 KV) |
| Mesa 26.2 | 324 / 19.4 | 106 / 7.8 | 224k (q8/q4 KV) |
| Mesa 26.2, f16 KV | 376 / 33 | 146 / 23 | 104k llama.cpp SYCL, f16 KV |
| 908 / 49 | 913 / 40 | 144k SYCL, q8_0 KV, MTP 4 | |
| 1,032 / 56.5 | 756 / 52.7 | 223k | |
Vulkan의 경우 다른 문제점들은 차치하고서라도 긴 컨텍스트에서 첫 토큰까지 걸리는 시간이 가장 최악입니다. 215k 토큰 프롬프트는 ollama/Vulkan에서 첫 토큰을 받는 데 1.9시간이 걸렸고 (ㅋㅋ!), SYCL에서는 8.6분밖에 걸리지 않았습니다. 또한 SYCL에서도 Qwen3.6-35B-A3B 모델은 262k 컨텍스트와 함께 카드에 완전히 적재되며, 16k에서 1,748 / 74를 달성하지만, 당연히 컨텍스트 크기가 커질수록 속도는 느려집니다.
결국 물론 순수 성능, 속도, 소프트웨어 스택 품질 등 모든 면에서 NVIDIA가 여전히 최고입니다. 따라서 제가 지금 그들이 뒤처지기를 바라는 유일한 부분은 '속도 대비 비용 비율(실제 시장 가격/가격 인상분을 고려했을 때)' 뿐입니다. 하하.
전체 테이블, 품질 점수 (Q6 vs Q4_K_XL vs 몇 가지 MoEs), 그리고 제가 사용한 빌드 명령어는 댓글에 올리겠습니다! 비-NVIDIA GPU로 테스트한 결과를 알려주시고, 제가 아직 발견하지 못한 다른 트릭이나 수정 사항이 있다면 알려주세요!
AI 활용 관련: 이 게시물은 거의 전적으로 저(약 200T OI (유기 지능) 인간 LLM)가 작성했지만, 마크다운 테이블 등은 Qwen의 도움을 받았습니다. 제출자: /u/maikerukonare [링크] [댓글]
