Llama.cpp 및 MTP를 활성화한 4개의 Nvidia RTX A4000 (각 16GB) 환경에서의 Qwen 3.6 27B Q8 구동

요약

4개의 Nvidia RTX A4000(각 16GB) 환경에서 Llama.cpp와 MTP를 활용하여 Qwen 3.6 27B Q8 모델을 구동한 실험 결과입니다. MTP 활성화 시 추론 시 약 45 t/s, 코딩 시 60 t/s 이상의 성능을 보여주며, MoE 모델의 경우 레이어 분할 모드를 통해 높은 토큰 생성 속도를 달성할 수 있음을 확인했습니다.

핵심 포인트

• Nvidia RTX A4000 4개를 활용한 이기종 구성에서 MTP(Multi-Token Prediction)를 통해 추론 및 코딩 속도 최적화 가능
• Qwen 3.6 27B Q8 모델 구동 시 코딩 작업에서 초당 60개 이상의 토큰 생성
• MoE 모델(Qwen 3.6 35B A3B Q8)은 `--split-mode layer`를 사용하여 에너지 효율과 높은 토큰 속도(코딩 시 90 t/s) 달성 가능
• 전력 제한(125W)을 통해 성능 안정성과 효율성 확보