DeepSeek-V4-Flash-Mini 54GB GGUF 약 20.5 t/s 속도로 실행

요약

DeepSeek-V4-Flash 모델을 극단적인 2비트 혼합 양자화(IQ2_XXS) 기술을 통해 54GB 크기로 압축하여 실행한 실험 결과입니다. VRAM 점유율을 40GB 이상 대폭 줄이면서도 초당 약 20.5개의 토큰을 생성하는 성능을 확인했습니다.

핵심 포인트

• 2비트 극단적 양자화 적용으로 모델 크기 대폭 축소
• VRAM/RAM 점유율을 기존 대비 40GB 이상 절감
• 초당 약 20.54 tokens의 추론 속도 달성
• 혼합 양자화(mixed quantization)를 통한 효율성 검증