Multi-Token Prediction (MTP) for LLaMA.cpp - Gemma 4 speedup by 40%

요약

LLaMA.cpp에 Multi-Token Prediction (MTP) 기능을 구현하여 대규모 언어 모델(LLM)의 추론 속도를 향상시켰습니다. 이 개선 사항을 Gemma 4 assistant 모델에 적용한 결과, MacBook Pro M5Max 환경에서 드래프트 토큰 처리 속도가 약 40% 빨라지는 성능 향상을 확인했습니다.

핵심 포인트

• LLaMA.cpp에 Multi-Token Prediction (MTP) 기능을 추가하여 LLM 추론 효율성을 높였습니다.
• Gemma 4 assistant 모델을 GGUF 형식으로 양자화하여 사용 가능하게 했습니다.
• 실제 테스트 결과, MTP 적용 시 드래프트 토큰 처리 속도가 기존 대비 약 40% 향상되었습니다 (97 tokens/s $\rightarrow$ 138 tokens/s).
• 개선된 코드는 패치된 llama.cpp와 전용 앱을 통해 제공됩니다.