Gemma 4 26B가 단일 RTX 5090에서 600 Tok/s를 달성함

요약

본 벤치마크는 vLLM을 사용하여 Gemma 4 26B 모델에 DFlash 투기적 디코딩(speculative decoding)이 미치는 성능 향상을 검증했습니다. RTX 5090 환경에서 DFlash를 최적으로 설정했을 때, 기본(Baseline) 대비 약 2.56배의 속도 향상과 높은 처리량(throughput)을 달성할 수 있었습니다. 특히, 단순히 가장 빠른 평균 속도가 아닌, p95 지연 시간까지 고려한 최적의 서빙 설정을 찾는 것이 중요함을 보여주었습니다.

핵심 포인트

• DFlash 투기적 디코딩은 Gemma 4 26B 모델에서 상당한 성능 향상(약 2.56배)을 제공합니다.
• 최적의 성능 설정은 단순히 평균 속도만 고려할 것이 아니라, p95와 같은 꼬리 지연 시간(tail latency)까지 종합적으로 고려해야 합니다.
• 벤치마크는 vLLM과 RTX 5090 환경에서 진행되었으며, 구체적인 최적 파라미터 조합을 제시했습니다.