8GB VRAM 및 32GB RAM에서 Qwen3.6 35B A3B 실행 (~190k 컨텍스트)

요약

본 기사는 제한된 VRAM(8GB)과 RAM(32GB) 환경에서 Qwen3.6 35B와 같은 대규모 언어 모델을 높은 컨텍스트 길이(~190k)로 구동하는 최적화 방법을 공유합니다. 작성자는 Linux 환경, llama.cpp의 TurboQuant 포크 버전 사용, 그리고 특정 파라미터 조정(예: `--n-gpu-layers`, `--ctx-size`)을 통해 안정성과 속도를 극대화한 경험을 제시했습니다. 특히 Q5 양자화와 DDR5 RAM 같은 하드웨어 요소가 장문 컨텍스트 추론 성능에 결정적인 영향을 미친다고 강조합니다.

핵심 포인트

• 8GB VRAM과 32GB RAM 환경에서도 Qwen3.6 35B를 190k 컨텍스트로 구동하는 것이 가능하며, 최적화된 설정으로 높은 속도를 달성할 수 있습니다.
• llama.cpp의 TurboQuant 포크 버전 사용 및 `--no-mmap` + `--mlock` 같은 특정 플래그 조합이 성능 안정화에 도움이 됩니다.
• 장문 컨텍스트 추론 시 Q5 양자화가 Q4보다 눈에 띄게 우수한 성능을 보이며, DDR5와 같은 높은 RAM 대역폭이 중요합니다.
• 최적의 속도와 안정성을 위해 `--ctx-size`, `--n-gpu-layers`, `--n-cpu-moe` 등의 파라미터를 환경에 맞게 세밀하게 조정하는 것이 필수적입니다.