DeepSeek-V4-Flash-0731-UD-Q3_K_XL 3x3090 테스트 결과

요약

DeepSeek-V4-Flash 모델의 3-bit K_XL 양자화 버전에 대한 llama-bench 테스트 결과를 공유합니다. RTX 3090 GPU 3대를 활용하여 모델의 추론 성능(T/S)을 측정한 벤치마크 데이터입니다.

핵심 포인트

• RTX 3090 3대(총 VRAM 약 72GB) 환경에서 테스트 수행
• DeepSeek-V4-Flash 모델의 3-bit K_XL 양자화 적용
• pp512 기준 약 116.04 T/S, tg128 기준 약 7.71 T/S 기록