지난 몇 주 동안 이 모델을 내 하드웨어에서 실행하는 데 시도해 보았습니다. 오픈 모델이 얼마나 더 좋아졌는지 여전히 놀랍습니다. 이 서브와 그 훌륭한 사람들 없이는 5 년 된 노트북에서 이 모델을 실행할 수 없었을 것입니다. 이 모델은 약 23 t/s 로 실제로 사용 가능하고, 배터리 연결 없이도 10+ t/s 를 달성할 수 있습니다. pi agent 와 함께 사용하면 매우 좋습니다.

이 설정을 개선할 수 있다고 생각하신다면 더 알고 싶습니다...

제 블로그 포스트 여기 에서 내 전체 localmaxxing 여정을 문서화했습니다, 누군가에게 도움이 될 수도 있습니다.

TL;DR

노트북: Asus ROG Zephyrus G14 2020

CPU: Ryzen 7 (8c 16t) @ 2900 Mhz (boost disabled)
Mem: 24GB DDR4-3200 RAM
GPU: RTX 2060 Max-Q 6GB VRAM

General:

#!/bin/bash
llama-server
-m ~/dev/models/Qwen3.6-35B-A3B-APEX-GGUF/Qwen3.6-35B-A3B-APEX-I-Compact.gguf
-mm ~/dev/models/Qwen3.6-35B-A3B-GGUF/mmproj-F16.gguf
--no-mmproj-offload
-a Qwen3.6-35B-A3B-APEX-64k
--host 0.0.0.0 --port 8000
--fit off -fa on
--ctx-size 65536
--threads 8 --threads-batch 12
--cpu-range 0-7 --cpu-strict 1
--cpu-range-batch 0-11 --cpu-strict-batch 1
--numa isolate
--prio 2
--no-mmap --parallel 1 --jinja
--cache-type-k q8_0 --cache-type-v q8_0
--ubatch-size 1024 --batch-size 2048
--n-cpu-moe 36
--cache-reuse 256
--ctx-checkpoints 8
--metrics
--cache-ram 4096
--spec-type ngram-mod
--spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 12 --spec-ngram-mod-n-max 48

Long Context: (Tom's fork)

#!/bin/bash
lm-server-tq
-m ~/dev/models/Qwen3.6-35B-A3B-APEX-GGUF/Qwen3.6-35B-A3B-APEX-I-Compact.gguf
-a Qwen3.6-35B-A3B-APEX-128k
--host 0.0.0.0 --port 8000
--fit off -fa on
--ctx-size 131072
--threads 8 --threads-batch 12
--cpu-range 0-7 --cpu-strict 1
--cpu-range-batch 0-11 --cpu-strict-batch 1
--numa isolate
--prio 2
--no-mmap --parallel 1 --jinja
--cache-type-k turbo3 --cache-type-v turbo4
--ubatch-size 1024 --batch-size 2048
--n-cpu-moe 36
--cache-reuse 256
--ctx-checkpoints 8
--metrics
--cache-ram 4096
--spec-type ngram-mod
--spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 12 --spec-ngram-mod-n-max 48