£300의 35W Snapdragon 미니 PC로 실제로 할 수 있는 작업: ~30 tok/s의 35B 코더와 RAM에 맞지 않는 80B

£299.99 Lenovo IdeaCentre Mini (Snapdragon X1-26-100, 32GB, CPU only): - Qwen3.6 35B A3B 코더: 읽기(reads) ~118 tok/s, 쓰기(writes) 24.5, MTP 사용 시 ~30 - Qwen3-Next 80B A3B: MTP 사용 시 17-18 tok/s로 쓰기

어떻게 여기까지 오게 되었나... 원래는 회사에서 소프트웨어가 ARM Windows에서 작동하는지 테스트하기 위해 이 박스 중 하나를 구매했다. 그런데 가격을 생각하면 (세금 포함) 충분히 인상 깊어서, 내 ADHD가 유발한 지루함에 사로잡혀 저렴한 ARM이 로컬 모델에 실제로 사용 가능한지 보기 위해 나 자신을 위한 것을 하나 더 구매하게 되었다. GPU는 Adreno X1-45이고 LLM용으로는 아직 쓸만한 것이 없고, NPU도 그냥 놀고 있기 때문에, 이건 전부 CPU 성능이다... llama.cpp, 512 토큰 프롬프트, 8 스레드 (읽기 = 프롬프트, 쓰기 = 생성):

• 코더 (Q4_0 35b-a3b): 읽기 ~118, 쓰기 24.5, MTP 사용 시 29-33 - Gemma 26B: 읽기 134, 쓰기 29.5, (MTP 테스트가 필요함, 박스만 가지고 있었음). 그래서 얼마나 밀어붙일 수 있는지 보고 싶었다. RAM은 32GB가 한계였기 때문에, 최근에 출시된 Janas(github.com/prabanta-dev/janas)를 찾아봤다. 이 프로그램은 MoE experts의 RAM 캐시를 유지하고 나머지는 NVMe에서 스트리밍하지만, x86 전용이다. 그래서 이걸 ARM용으로 재코딩했다: 모든 양자화 형식에 대한 NEON 커널, i8mm 등 (모두 스칼라 참조 코드(Windows ARM64 및 Linux)와 비트 단위로 테스트됨. 곧 GitHub에 PR로 제출할 예정이다.) Janas, 동일 설정:
• 코더: 읽기 ~60, 쓰기 17.2, MTP 사용 시 29-31 - Gemma 26B: 읽기 115, 쓰기 23.5, MTP 사용 시 32-34 - 80B: 읽기 (결과를 믿지 못해서 미정), 일반 쓰기 9.8, MTP 사용 시 17-18
  llama.cpp가 여전히 읽기와 일반 쓰기에서 우세하지만, MTP 사용 시에는 Janas가 일치하거나 능가하며, RAM을 훨씬 적게 사용한다. 그리고 코더의 expert 캐시를 12GB로 압축했는데도 여전히 24 tok/s로 쓰기가 가능했다. 즉, 심지어 16GB Snapdragon으로도 35b-a3b를 구동할 수 있다는 뜻이다 👀... 게다가 이 박스는 llama.cpp가 로드조차 할 수 없는 80B 모델을 구동한다! 그러다 내가 접근 가능한 두 장치(내 것과 회사 개발용 박스)를 USB4로 연결해 볼까 생각했다.

작업 진행 중이며, 추후 보고드리겠습니다. 하지만 초기 결과는 유망하며 이미 122b qwen을 구동해 본 경험이 있습니다. 현재 병렬 전문가(parallel experts) 빌드를 간소화하는 작업을 하고 있습니다. 여러분들께는 잘 모르겠지만, 저는 로컬 LLM에 대한 광범위한 경험은 없고 ARM으로 작업해 본 적도 없지만, 이것은 꽤 놀라웠고 GPU 없이 £300 가격대치고 나쁘지 않습니다. 기회가 되면 이 장비로 테스트할 의향이 있으니 더 많은 수치를 원하는 분들은 언제든지 말씀해주세요... 하지만 현재 시점에서 32GB의 LPDDR5를 얻는 방법이나 전력 소모가 약 35W 정도인 방법을 더 저렴하게 찾기는 어렵습니다... 의견과 피드백을 환영합니다. 🙃👍 제출자: /u/WorldlyAd7946 [링크] [댓글]