8GB VRAM 및 32GB RAM에서 Qwen3.6 35B A3B 실행 (~190k 컨텍스트)

고성능의 높은 속도와 약 190k 컨텍스트를 원하시는 분이 있다면, 이 설정이 저에게 엄청나게 잘 작동하고 있습니다.

저는 Tailscale을 통해 노트북을 서버로 사용하고 있습니다. 여기에 Linux를 설치하여 다음을 실행했습니다:

• Qwen3.6 35B A3B
• RTX 4060 8GB VRAM
• 32GB DDR5 5600MHz RAM
• Q5 양자화(quant) 모델

현재 테스트한 모델:

• exttt{mudler/Qwen3.6-35B-A3B-APEX-GGUF}
• ~40 tok/sec → 37 tok/sec
• exttt{hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF}
• ~43 tok/sec → 37 tok/sec

다음과 같이 조정하여 속도를 약 51 tok/sec까지 높일 수 있습니다:

• exttt{--ctx-size 192640}
• exttt{--n-gpu-layers 430}
• exttt{--n-cpu-moe 35}

그리고 안정성과 메모리 사용량에 따라 이 값들을 약간 높이거나 낮추면서 조정합니다.

현재 제 설정은 다음과 같습니다:

--batch-size 2048 \

--parallel 1 \

--no-mmap \

--mlock \

--ubatch-size 512 \

--threads 6 \

--cont-batching \

--timeout 300 \

--temp 0.2 \

--top-p 0.95 \

--min-p 0.05 \

--top-k 20 \

--metrics \

--chat-template-kwargs '{"preserve_thinking": true}'

이 포크(fork) 버전의 llama.cpp를 TurboQuant 지원과 함께 사용하고 있습니다:

https://github.com/TheTom/turboquant_plus#build-llamacpp-with-turboquant

몇 가지 솔직한 의견을 말씀드립니다:

• Q4는 이 모델들에서 장문 컨텍스트 추론(long-context reasoning)에 비해 Q5가 눈에 띄게 성능이 떨어집니다.

• exttt{--no-mmap} + exttt{--mlock}은 저에게 이상한 속도 저하 현상을 줄이는 데 도움이 되었습니다.

• TurboQuant KV 캐시(KV cache)는 높은 컨텍스트 크기에서 엄청난 차이를 만듭니다.

• 이 설정에서는 Linux가 Windows보다 훨씬 더 나은 성능을 보여줍니다.

• RAM 대역폭(RAM bandwidth)이 좋지 않다면 이러한 속도를 기대해서는 안 됩니다. DDR5가 여기서 중요합니다.

만약 다음 항목에 대한 최적화 방법을 아시는 분이 있다면:

• 더 나은 장문 컨텍스트 안정성,

• 더 높은 토큰 처리량(token throughput),

• 또는 더 스마트한 exttt{n-cpu-moe} 튜닝 방법,

테스트해 보고 싶습니다.