Qwen3.6-27B 에 MTP 가rafted 적용: Unsloth UD XL 기반 2.5 배 성능 향상

요약

본 기술 기사는 Qwen3-27B 모델에 Multi-Token Prediction (MTP) 기능을 GGUF 형식과 llama.cpp를 사용하여 로컬 환경에서 구현한 내용을 다룹니다. MTP는 추측적 디코딩(speculative decoding)의 한 형태로, 3개의 예측 단계를 통해 토큰 처리량을 약 2.5배 향상시키는 것이 핵심입니다. 이를 위해 Qwen3-27B의 Unsloth UD XL 양자화 모델에 MTP draft heads를 grafting하여 높은 효율성과 낮은 VRAM 오버헤드를 유지했습니다.

핵심 포인트

• Qwen3-27B 모델을 기반으로 Multi-Token Prediction (MTP) 기능을 GGUF 형식과 llama.cpp 환경에서 성공적으로 구현했습니다.
• MTP는 추측적 디코딩 기법 중 하나로, 토큰 처리량을 기존 대비 약 2.5배 향상시키는 높은 효율성을 보여줍니다.
• 모델의 기본 양자화(UD XL)를 유지하면서 MTP 레이어만 Q8으로 추가하여 VRAM 오버헤드를 최소화했습니다.
• llama.cpp의 PR #22673 기능을 활용하고 커스텀 빌드 과정을 통해, 공식 배포 전에도 로컬에서 고성능 추론이 가능하게 했습니다.