MTP 모델을 실행하기 위한 llama.cpp Docker 이미지

요약

본 글은 MTP(Multi-Token Prediction) 모델을 실행하기 위한 llama.cpp Docker 이미지를 제공하며, 사용자가 자신의 하드웨어에 맞는 버전을 선택하여 쉽게 사용할 수 있도록 안내합니다. 또한, Unsloth에서 Qwen 3.6용 MTP 모델을 출시함에 따라 기존의 Grafted 모델들이 구식이 되었음을 알리며, 성능 비교 벤치마크 결과 Unsloth 모델 사용을 강력히 권장하고 있습니다. 최신 버전에서는 draft engine 이름이 `mtp`에서 `draft-mtp`로 변경되었으므로 `--spec-type draft-mtp`를 사용해야 합니다. 전반적인 벤치마크 결과와 사용자 편의성을 고려할 때, Unsloth 모델을 사용하는 것이 더 효율적입니다.

핵심 포인트

• MTP 모델 실행을 위해 다양한 GPU 환경(cuda13, cuda12, vulkan 등)을 지원하는 llama.cpp Docker 이미지를 제공합니다.
• Unsloth에서 Qwen 3.6용 MTP 모델이 출시되어 기존의 Grafted 모델들이 성능 면에서 구식이 되었습니다.
• 최신 버전에서는 draft engine 이름 변경에 따라 `--spec-type draft-mtp`를 사용해야 합니다.
• 벤치마크 결과, Unsloth 모델이 평균 처리 속도(t/s)와 MTP% 측면에서 더 우수한 성능을 보여 권장됩니다.