요약

LLaMA.cpp와 TurboQuant 환경에서 Qwen 모델을 위한 Multi-Token Prediction(MTP) 기술을 구현하여 추론 성능을 대폭 향상시켰습니다. MacBook Pro M5 Max 환경에서 테스트한 결과, 초당 토큰 생성 속도가 21 tokens/s에서 34 tokens/s로 약 40% 증가하였으며 90%의 높은 수락률을 기록했습니다.

핵심 포인트

• LLaMA.cpp와 TurboQuant 조합에 MTP를 적용하여 추론 속도 40% 향상
• MacBook Pro M5 Max(64GB RAM) 로컬 환경에서 34 tokens/s 성능 달성
• Qwen 3.6 27B 및 35B 모델에 대해 MTP가 적용된 GGUF 양자화 모델 제공
• MTP와 TurboQuant가 통합된 패치된 LLaMA.cpp 오픈소스 공개