GLM 5.3 Flash NVFP4 모델에서 DFlash2 및 NextN 기반 추측 디코딩 성능 비교

요약

GLM 5.3 Flash NVFP4 모델을 활용하여 DFlash2와 NextN 기반의 추측 디코딩(speculative decoding) 성능을 비교 분석했습니다. 그 결과, NextN이 테스트된 모든 병렬성 수준에서 DFlash2를 크게 능가하는 우수한 성능을 보여주었습니다.

핵심 포인트

• NextN은 DFlash2 대비 전반적인 추측 디코딩 성능이 뛰어남.
• N=16 조건에서 NextN은 1K context당 197.1 tok/s를 기록하며 DFlash2(108.7 tok/s)보다 월등히 높음.
• NextN은 긴 컨텍스트(4K)에서도 높은 성능을 유지하여 우수성을 입증함.