NInfer6000 - Qwen 3.8 Flash Next 모델을 RTX6000에서 400 tg/s 및 13K pp/s로 구동

RTX6000의 NInfer 포크(fork)를 사용하여 Qwen 3.8 Flash Next 모델에 대해 더 실험해 보았고, 이상적인 조건에서 400tg/s를 달성했기에 공유할 가치가 있다고 생각했습니다. 이 모델은 NVFP4 MoE로 구성되어 있으며 나머지는 16비트 또는 8비트를 사용하므로 전체 96GB VRAM과 디스크의 ngram을 활용합니다.

Decode MTP3 (Context 16-bit, 8-bit 변경):
512: 197.1 tok/s $\rightarrow$ 274.8 tok/s (+39%)
8K: 303.1 tok/s $\rightarrow$ 401.3 tok/s (+32%)
64K: 291.7 tok/s $\rightarrow$ 380.3 tok/s (+30%)
128K: 282.6 tok/s $\rightarrow$ 368.0 tok/s (+30%)
256K (최대): 277.4 tok/s $\rightarrow$ 360.6 tok/s (+30%)

Prefill Prompt length (16-bit, 8-bit 변경):
512: 6,709 tok/s $\rightarrow$ 5,905 tok/s (-12%)
8K: 13,903 tok/s $\rightarrow$ 13,908 tok/s (0%)
64K: 13,043 tok/s $\rightarrow$ 12,171 tok/s (-7%)
128K: 11,927 tok/s $\rightarrow$ 11,032 tok/s (-8%)
256K (최대): 9,941 tok/s $\rightarrow$ 9,154 tok/s (-8%)

더 많은 벤치마크 변형은 리포지토리의 readme에서 확인할 수 있습니다.

원래 NInfer는 32GB의 5090 카드와 그 이하 버전을 위한 것이었지만, 저는 포크를 시작할 때 Qwen 3.8 Flash Next가 빠져 있었고, RTX6000 96GB 카드를 제대로 활용할 수 있는 무언가가 필요했습니다. VLLM과 llama.cpp의 성능 및 옵션으로는 저에게 충분하지 않았기 때문에 몇 주 동안 이 작업에 몰두해 왔습니다.

이 포크는