PP (Prompt Processing)가 더 느리다는 게시물들을 보고 사용을 주저하는 분들이 있는 것을 보았습니다.

여기 실제 데이터 포인트를 공유합니다.

설정 (Settings):

• Headless RTX 3090 24G
• OpenCode
• 모델: unsloth의 Qwen3.6-27B-MTP-Q4_K_M.gguf
• 128k 컨텍스트 (context)
• q8_0 KV 캐시 (kv cache)
• --spec-draft-n-max: 3
• --draft-p-min: 0

사용 사례 (Use Cases):

• 약 85,000 토큰을 사용하는 연구 작업 (Research task)
• 약 85,000 토큰을 사용하는 코딩 작업 (Coding task)

MTP 미사용 시 (llama.cpp:server-cuda13-b9174):

• PP: 1,050 tok/s
• TG (Text Generation): 27 toks/s
• 85k 토큰 완료까지 총 소요 시간: 약 39분

MTP 사용 시 (최신 master fork):

• PP: 600 tok/s (42% 감소)
• TG: 50 tok/s (85% 증가)
• 85k 토큰 완료까지 총 소요 시간: 약 23분 (1.7배 빠름 또는 41% 시간 단축)

41%의 시간 절감은 매우 엄청난 수치이므로, PP 비중이 매우 높은 경우가 아니라면 여러분의 사용 사례에서도 MTP를 시도해 보길 권장합니다! 저는 듀얼 에이전트 (dual agent) 설정에서 사용 중인데, 다른 비평가 에이전트 (critic agent)가 메인 에이전트의 작업을 검토하기 때문에 전체 처리 시간은 더 개선될 수도 있습니다.