A100에서 실행되는 DeepSeek-V4-Flash-0731 Unsloth GGUF

요약

A100 GPU 환경에서 DeepSeek-V4-Flash-0731 모델을 Unsloth GGUF 형식으로 실행한 성능 결과입니다. VRAM 용량에 따라 전문가(experts) 배치 방식을 조절하여 최적의 추론 속도를 확보할 수 있습니다.

핵심 포인트

• A100 40GB 환경에서 Q8_K_XL 양자화 모델 실행 가능
• 전문가 배치 최적화를 통해 16.1~17.7 tok/s 속도 구현
• Codex를 활용한 에이전트 코딩 루프 구동 사례 확인