최근의 llama.cpp 변경 사항 덕분에 DeepSeek V4 Flash가 훨씬 더 사용하기 쉬워졌습니다. 제가 몇 가지 벤치마크를 실행해 보고, 사용한 설정과 함께 결과를 공유하고자 합니다. 저는 Unsloth에서 제공하는 DeepSeek-V4-Flash-UD-Q8_K_XL을 사용했습니다: https://huggingface.co/unsloth/DeepSeek-V4-Flash-GGUF

설정: llama-server
-m DeepSeek-V4-Flash-UD-Q8_K_XL.gguf
--override-tensor "blk.[0-1].ffn_(up|down|gate)exps.weight=CUDA0,blk.2.ffn(down)_exps.weight=CUDA0"
--ctx-size 1048576
--cache-type-k q8_0
--cache-type-v q8_0
-fa 1
--fit off
--main-gpu 0
--n-cpu-moe 999
--no-mmap
--mlock
--cpu-range 0-23
--cpu-range-batch 0-7
--parallel 1
--jinja
--temp 1.0 --top-p 1.0
--presence-penalty 0.0 --repeat-penalty 1.05 --repeat-last-n 512
--no-warmup --threads 24 --numa isolate
--batch-size 2048 --ubatch-size 2048 --threads-batch 8
--chat-template-kwargs '{"reasoning_effort":"max"}'
-cms 24000
-ctxcp 5
--alias deepseek
--host 0.0.0.0 --port 8080

성능: 프리필(Prefill): ~650–700 토큰/초, 디코드(Decode): ~17 토큰/초, 로딩 시간: 32초

속도가 아직 Qwen 모델만큼 인상적이지는 않지만, llama.cpp에서 여전히 최적화할 여지가 있다고 생각합니다.

제출자: /u/Shoddy_Bed3240 [링크] [댓글]