2x RTX 5090 환경에서 Qwen3.8-Flash-Next를 이용한 504 tok/s 디코드 속도: QEngine 1.3.1이 테스트해

https://github.com/bpx03/QEngine (제 저장소가 아니며, 크레딧은 bpx03에게 돌아갑니다) QEngine은 3x RTX 3090용으로 구축되었습니다. 저는 이를 RTX 5090에 컴파일할 수 있었습니다. 이제 같은 시스템에서 네 가지 다른 엔진을 통해 Qwen3.8-Flash-Next를 실행해 보았습니다. QEngine (bpx03, v1.3.1)이 단일 스트림 디코드(single-stream decode) 면에서는 명확한 우위를 점하며 가장 빠르며, 에이전트 프롬프트 지연 시간(agentic prompt latency) 측면에서는 Strata와 동등합니다. 또한 유휴 상태로 돌아갈 때 비용을 크게 절감해 주는 KV-in-RAM 모드를 갖추고 있습니다. 아래에 자세한 내용과 함께 성능이 덜 좋아 보이는 부분들도 포함했습니다.

장비 구성 (Rig): 2x RTX 5090 (각 32 GB), Threadripper PRO 3975WX, 251 GB RAM, 262K 컨텍스트. QEngine의 Flash-Next INT4 AutoRound 빌드입니다. README에는 sm_86만 나열되어 있어, CMAKE_CUDA_ARCHITECTURES를 86에서 120으로 변경하여 sm_120용으로 직접 구축했습니다 (nvcc 13.3, g++-13 사용). 다른 변경 사항은 없습니다. 전원 켜기 후 53초 만에 서비스가 시작되었습니다.

속도 (club-3090 bench.sh, 모든 엔진에 동일한 스크립트와 프롬프트 사용):

디코드 열을 주의 깊게 읽어주십시오. QEngine의 전문가 캐시(expert cache)는 최근 사용 패턴에 적응하며, bench.sh는 동일한 프롬프트를 반복하므로 이 수치들은 최적의 경우에 가깝습니다. 다양한 트래픽 환경에서 테스트했을 때 약 300-400 tok/s의 단일 스트림 속도를 측정했습니다 (hermes 에이전트 트래픽은 요청당 330-470을 기록). Strata의 캐시는 라우팅된 전문가 질량(expert mass)의 약 99.5%를 보유하므로 프롬프트를 반복해도 도움이 되지 않습니다. 공정한 비교는 대략 Strata 대비 1.4~1.9배, 그리고 bucko 대비 약 3배 수준입니다. 프리필은 분할된 결과입니다. QEngine이 10K에서는 더 빠르지만, Strata가 90K에서 더 빠른 이유는 Strata의 속도가 깊이에 따라 증가하는 반면 QEngine의 속도는 평탄하게 유지되기 때문입니다.

에이전트 지연 시간(Agentic latency) (12턴 도구 사용 벤치마크, 컨텍스트가 35K까지 증가): 접두사 캐시(prefix cache) 작동 시 12번째 프롬프트 읽기 속도: QEngine 1.3.1: 1.75초, Strata IQ4_XS: 1.7-1.9초, ThinkingCap 27B dual-fast: 2.07초, exl3: 3.5-3.9초, bucko: 4.36초. QEngine과 Strata는 이 부분에서 동등합니다 (QEngine의 rc4 빌드는 같은 벤치마크에서 1.4초를 기록했으므로, 이는 "약 1.5-1.8초" 범위 내의 노이즈입니다). 두 엔진 모두 bucko보다 약 2배 빠릅니다.

유휴 대화(Idle conversations): FLASH_KV=ram 1.3.1은 KV 캐시를 VRAM 대신 고정된 호스트 RAM(pinned host RAM) (13.5 GB 풀, 약 1M 토큰)에 유지할 수 있습니다. 저는 각각 ~58K 토큰인 8개의 대화를 테스트한 후, 400K 토큰의 다른 트래픽을 처리하고 다시 각 대화로 돌아갔습니다: RAM 내 KV 캐시: 8개 중 8개가 따뜻하게(warm) 유지되었으며, 첫 번째 응답까지 1.56-2.01초가 소요되었습니다. VRAM 내 KV 캐시: 8개 중 2개만 따뜻했습니다. 나머지 여섯 개는 콜드 스타트(cold start) (8.85초)와 비슷한 약 8.7-9.4초 만에 재사전 채우기(re-prefilled)되었습니다. 답변은 여전히 정확했으므로, 지연 시간(latency)을 잃었을 뿐 정확성(correctness)을 잃은 것은 아닙니다. RAM 모드는 여기서 단일 스트림(single-stream) 디코딩 속도를 약 10% 더 빠르게 했지만, 8개의 동시 64K 스트림에서는 (스트림당 124 vs 139 tok/s) 약 10% 느렸습니다. 각 모드별로 한 번 부팅하고, 한 번 테스트했습니다.

품질 및 안정성(Quality and stability): omp 에이전트 하네스(agent harness)를 통해 테스트 (44개 작업 비서 세트, 노력 낮음, 한 번의 드로우): 1.3.1에서는 44/44를 달성했으며, 1.3에서는 두 번에 걸쳐 42/44였습니다. 1.3에서 medium 및 xhigh 설정 사용 시: 각각 43/44였습니다. 6개 작업 하위 에이전트 위임 세트는 위임 여부와 관계없이 6/6을 통과했습니다. 1.3에서 1.3.1로의 차이는 단 하나의 작업이므로, 이를 노이즈로 간주하십시오.

코딩 확인(Coding check) (aider-polyglot-30, 생각 중, 노력 낮음, 단일 패스), rc4 빌드에서: QEngine 26/30. Strata UD-IQ4_XS 24/30, UD-Q4_K_XL 25/30 (반복 테스트 전반에 걸쳐 24-26). ThinkingCap 27B는 17/30이었습니다. 26 대 24-26은 하나의 Strata 설정 반복 범위 내에 있으므로, 솔직하게 말하자면 INT4 AutoRound 양자화(quant)가 코딩에서 더 나쁘지 않다는 것이지, 더 좋다는 것은 아닙니다. 저는 이것을 1.3.1에서 다시 실행하지 않았습니다. 또한 평소 사용하던 멀티팩 에이전트/도구 사용 스위트를 이전에 실행했는데, QEngine은 다른 Flash-Next 엔진들과 비슷한 수준에 도달했으며, 이는 노이즈 범위 내의 수치입니다.

결론적으로, 2x5090 환경에서 QEngine 1.3.1은 제가 측정한 단일 스트림 디코드(single-stream decode)에 있어 가장 빠른 Flash-Next 엔진이며, 에이전트 프롬프트 지연 시간(agentic prompt latency) 면에서는 Strata와 동등합니다. 또한 KV-in-RAM 모드는 장시간 유휴 세션에서 큰 이점을 제공합니다. 코딩 품질은 Strata의 GGUF 양자화(quants) 수준으로 보입니다. 단점으로는 제한적인 VRAM, 소스 코드에서 빌드해야 하는 단계(build-from-source step), 그리고 vLLM이나 Strata보다 적은 런타임 히스토리 등이 있습니다. 사용해 보시길 권장합니다. 개발자가 매우 적극적입니다. 추가 자료는 https://github.com/noonghunna/club-3090 에서 확인할 수 있으며, 이 클럽은 참여도 환영합니다! 제출자: /u/Relative-Ant-9249 [링크] [댓글]