Headless RTX 3090 환경에서 Qwen3.6 27B 모델을 활용한 llama.cpp MTP 성능 테스트 결과

요약

RTX 3090 환경에서 Qwen2.5-27B-MTP 모델을 사용하여 llama.cpp의 MTP(Multi-Token Prediction) 성능을 테스트한 결과입니다. MTP 사용 시 프롬프트 처리(PP) 속도는 다소 감소하지만, 텍스트 생성(TG) 속도가 85% 향상되어 전체 작업 시간을 약 41% 단축하는 효과를 확인했습니다.

핵심 포인트

• MTP 사용 시 텍스트 생성(TG) 속도가 27 toks/s에서 50 toks/s로 약 85% 증가함
• 프롬프트 처리(PP) 속도는 1,050 tok/s에서 600 tok/s로 약 42% 감소함
• 85,000 토큰 작업 기준, 전체 소요 시간이 39분에서 23분으로 약 1.7배 단축됨
• PP 비중이 압도적으로 높지 않다면 MTP 도입을 통해 전체적인 처리 효율을 크게 높일 수 있음