DFlash2가 없는 경우 Flash Next 모델에 업그레이드해야 하는 이유! 평균 17% 향상

얼마 전, Qwen3.8-Flash-Next용 DFlash2가 출시되었지만, 초기에는 llama.cpp 호환성이 부족했습니다. 하지만 이제는 지원됩니다. 저는 직접 제작한 drafter의 GGUF를 양자화(quantized)하여 llama.cpp v0.8.0에서 테스트해 보았는데, 이는 DFlash2 for FN을 지원하는 최초의 버전입니다.

속도: MTP (수용률) | DFlash2 (수용률) | delta Q4_K_XL (코드)
80.5 tps (94%) | 95.1 tps (84%) | +18%
Q4_K_XL (리스트)
91.4 tps (98%) | 127 tps (98%) | +39%
Q4_K_XL (산문)
53.8 tps (78%) | 51.9 tps (64%) | -3%
Q4_K_XL (6k 컨텍스트) 80.2 tps (97%) | 95.3% (90%) | +19%
기하 평균(Geometric mean): 75.1 tps | 87.9 tps | +17%

테스트는 Apple Silicon (M5 Max)에서 MTP와 DFlash2의 최적 설정을 찾기 위해 광범위한 매개변수 스윕(sweep of parameters)을 거쳐 진행되었습니다. 사용자님의 설정은 다를 수 있지만, 제 설정은 MTP의 경우 n-max = 3, p-min = 0.75였고 DFlash2는 n-max = 5, p-min = 0.75였습니다.

컨텍스트가 더 긴 길이(25K)에서는 DFlash2가 MTP와 거의 같아지므로 약간의 성능 저하가 있지만, MTP는 거의 평평하게 유지됩니다. 수용률은 Q4_0 draft head와 Q8_0 사이에서 비교되었으며, 속도나 수용률 모두 측정 가능한 차이가 없었기 때문에 메모리 절약을 위해 Q4_0을 선택하는 것을 추천합니다.

말 나온 김에, 산문(prose)을 제외한 모든 카테고리에서 훨씬 빠르다는 것 외에도 DFlash2의 draft head는 매우 작습니다! Q4_0 헤드는 제가 사용했던 Q4_0 ggml MTP 헤드의 2.2GB와 비교하여 단지 약 350MB에 불과합니다. 하지만 이러한 절약분은 VRAM으로 변환되지 않는데, DFlash2에 필요한 컴퓨트 버퍼(compute buffer)가 거의 그만큼을 다시 사용하기 때문입니다.

마지막으로, 3.8 27B용 DFlash2와 달리 이미지도 작동합니다! draft 모델이 비전 기능(vision enabled)을 사용하여 초안을 작성했으며, 테스트 이미지 프롬프트를 통해 일관성 있는 응답과 좋은 수용률을 얻었습니다.

종합적으로 볼 때, DFlash2는 산문 유형을 제외한 모든 종류의 프롬프트에서 디코드 성능(decode performance)에 있어 상당한 업그레이드입니다. 산문의 경우 회귀가 미미하여 노이즈 수준 내에 있습니다.

제출자: /u/returnity [link] [comments]