구형 GTX 1080(8 GB VRAM, 128k context)에서 ~30B MoE 모델로 24+ tok/s 달성

요약

저가형 구형 GPU(GTX 1080)와 저사양 시스템 환경에서 llama.cpp를 활용하여 Qwen 3.6 35B-A3B 및 Gemma 4 26B-A4B 같은 대규모 MoE 모델을 성공적으로 구동했습니다. 핵심은 MoE 오프로딩 기법으로, 사용 빈도가 낮은 전문가 가중치를 시스템 RAM에 두고 PCIe를 통해 GPU로 스트리밍하는 것입니다. 또한, Gemma 4의 MTP(speculative decoding) 성능 향상을 위해 llama.cpp의 특정 설정을 수정하여 CPU가 아닌 GPU에서 행렬 곱셈을 수행하도록 강제함으로써 상당한 속도 개선을 달성했습니다.

핵심 포인트

• MoE 오프로딩: 사용 빈도가 낮은 전문가 가중치를 시스템 RAM에 배치하고 PCIe를 통해 스트리밍하는 방식으로 대형 모델 구동 가능.
• Gemma 4 MTP 최적화: llama.cpp가 기본적으로 토큰 임베딩 테이블을 CPU에 유지하여 성능 저하를 일으키므로, `--override-tensor-draft` 플래그 사용으로 GPU 가속이 필수적임.
• 저사양 환경에서의 성과: GTX 1080 같은 구형 GPU와 중고 시스템에서도 대규모 MoE 모델을 높은 토큰 생성 속도(tok/s)로 구동할 수 있음을 입증함.
• 기술적 난이도: 최신 OS 및 하드웨어 조합에서 특정 라이브러리 호환성 문제(예: CUDA, gcc, glibc)를 해결하기 위한 심층적인 빌드 과정이 필요했음.