JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP · Hugging Face

요약

Mellum2.1에 다중 토큰 예측(MTP) 헤드가 추가되어 모델의 추론 속도를 획기적으로 개선합니다. MTP는 투기적 초안을 활용하여 디코딩 속도를 1.4~1.8배 빠르게 하며, 출력 결과 품질 저하 없이 약 90%의 토큰이 수용됩니다. vLLM, transformers, llama.cpp 등 주요 환경별 사용 방법이 상세히 안내되었습니다.

핵심 포인트

• MTP 헤드는 추가 트랜스포머 블록으로 구현되어 속도를 높입니다.
• 디코딩 속도가 1.4~1.8배 빨라지며, 출력 결과는 유지됩니다.
• vLLM, transformers, llama.cpp 등 환경별 사용 명령어가 제공됩니다.