Deepseek v4 flash - prefill/pp에서 100-150 t/s 더 빠른 속도

요약

Deepseek v4 flash 모델의 prefill 및 pipeline parallel 속도를 개선하기 위한 CUDA 버전 최적화 방법을 다룹니다. CUDA 13.2 이상의 버전에서 발생하는 DeviceTopK 이슈로 인한 성능 저하를 해결하기 위해 CUDA 13.1로의 다운그레이드를 권장합니다.

핵심 포인트

• CUDA 13.2 이상 버전에서 DeviceTopK 사용으로 인한 PP 속도 저하 발생
• 성능 최적화를 위해 CUDA 13.1 버전으로 다운그레이드 권장
• 또는 CUDA 13.3과 호환되는 특정 fork 버전을 사용하여 문제 해결 가능
• DS4 Flash 모델이 행렬 곱셈 외의 작업에서 병목 현상을 겪고 있음