llama.cpp MTP 지원 도입 - Strix Halo에서 Qwen3.6 27B 2.44배, RTX 3090 시스템에서 2.17배 성능 달성

요약

llama.cpp 메인라인에 MTP(Multi-Token Prediction) 기반의 투기적 디코딩 기능이 도입되었습니다. 벤치마크 결과, Strix Halo와 RTX 3090 시스템에서 Qwen3.6 27B 모델을 사용할 때 최대 2.44배의 성능 향상을 기록했습니다.

핵심 포인트

• llama.cpp에 MTP(Multi-Token Prediction) 투기적 디코딩 기능 추가
• Strix Halo 및 RTX 3090 환경에서 밀집형(Dense) 모델의 추론 속도 대폭 향상
• MoE(Mixture of Experts) 모델은 낮은 순전파 비용으로 인해 MTP의 성능 향상 폭이 상대적으로 작음
• 시스템의 전력 제한 및 모델 구조에 따라 최적의 N(spec-draft-n-max) 값이 달라짐