RTX 5090에서의 DFlash Speculative Decoding + KV Cache Compression 벤치마크 — 3.26배 속도

요약

NVIDIA RTX 5090 환경에서 Qwen3.6-27B 모델을 대상으로 DFlash Speculative Decoding과 KV Cache Compression을 결합한 벤치마크 결과입니다. q4_0/turbo4 전략 사용 시 성능 저하를 최소화하면서 최대 3.26배의 속도 향상을 달성했습니다.

핵심 포인트

• RTX 5090에서 DFlash와 KV 압축 결합 시 최대 3.26배 속도 향상 확인
• q4_0/turbo4 전략이 PPL 저하(+0.02%)를 최소화하며 최적의 성능 제공
• Q5_K_XL 양자화 방식이 NVFP4-Q8_0보다 모든 지표에서 우수한 성능 기록
• 작은 Drafter 모델 사용 시 약 3배의 추론 속도 향상 가능성 입증