요약

본 기사는 단일 H100 80GB 환경에서 vLLM을 사용하여 Gemma 4 모델에 대한 MTP(Multi-Token Prediction)와 DFlash의 성능을 비교한 결과를 담고 있습니다. 테스트 결과, dense 모델인 Gemma 4 31B에서는 MTP가 더 높은 처리량을 보였으나, MoE 구조의 Gemma 4 26B-A4B에서는 DFlash가 우위를 점하는 등 워크로드와 모델 유형에 따라 최적의 방식이 달라짐을 보여줍니다. 따라서 실제 배포 시에는 사용 환경과 작업 부하를 고려하여 두 접근 방식을 모두 테스트해 볼 것을 권장합니다.

핵심 포인트

• Gemma 4 31B (dense)에서는 MTP가 DFlash보다 높은 처리량(throughput)을 기록했습니다.
• Gemma 4 26B-A4B (MoE)에서는 DFlash가 MTP보다 더 나은 성능을 보여주었습니다.
• 속도 향상 폭은 모델의 구조적 특성(dense vs MoE)과 추론 시 활성화되는 파라미터 수에 영향을 받습니다.
• 코딩, 수학, STEM 등 예측 가능한 토큰 패턴을 가진 작업에서 속도 개선 효과가 더 컸습니다.
• 단순히 높은 위치당 수락률(per-position acceptance)이 항상 최고의 처리량(throughput)을 의미하지는 않습니다.