Qwen3.8-Flash-Next 구동을 위한 개인 벤치마크 비교 (듀얼 R9700 구성)

저는 듀얼 AMD AI Pro R9700 시스템(AMD Ryzen Threadripper Pro 3945WX 12 코어 CPU 및 8채널 128 GB DDR4 RAM을 탑재한 Lenovo P620 워크스테이션)을 가지고 있으며, Qwen3.8-Flash-Next의 다양한 추론 옵션들을 비교해 왔습니다. 제 장비에 적합하고 합리적으로 빠르게 실행되는 다음 옵션들을 비교했습니다:

1. Unsloth Qwen3.8-Flash-Next-GGUF (UD-Q3_K_XL):
   Unsloth가 MTP를 지원하기 위해 제공한 llama.cpp 포크에서 실행됩니다. 3개의 초안 토큰(draft tokens)을 사용했습니다 (에이전트 워크플로우에 대한 속도 테스트를 통해 선택).

2. Strata의 Qwen3.8-Flash-Next-GSQ-RCO-IQ3:
   IQ3_S GGUF 샤드는 I STA-DASLab의 GSQ-RCO 릴리스에서 가져왔으며, 재양자화(requantization) 없이 그대로 사용되었습니다. MTP 초안 레이어는 원본 Qwen BF16 체크포인트에서 연결했습니다. 이는 Strata 0.1.42 버전에서 실행되었고, 4개의 초안 토큰을 사용했습니다.

3. Stilldeadcode의 qwen3.8-next-flash-fp8-iq4r-moe:
   radiance 1.4.0 버전에서 실행되었으며, 3개의 초안 토큰을 사용했습니다.

제가 특별히 관심을 가졌던 것은 어떤 옵션을 기본값으로 사용할지 결정할 충분한 정보를 모으는 것이었습니다. 저는 채팅 및 리서치 에이전트로부터 수집한 자체 질문들을 벤치마크했습니다. 이 설정을 에이전트 코딩에 사용하지 않았기 때문에, 그 부분은 별도로 테스트하지 않았습니다. 단지 어느 정도 속도가 충분한지, 그리고 제가 신경 써야 할 측정 가능한 퍼플렉서티(perplexity) 차이가 있는지 알고 싶었습니다.

속도 테스트 결과는 각 엔진이 방출하는 월 시간(wall time) 지표를 사용하고 벤치마크 자체의 클럭과 교차 확인하여 다음과 같습니다:

radiance의 프롬프트 처리 시간이 비정상적으로 빠르다는 점에 주목해 주십시오. 이것이 제가 프리필 기울기(prefill slope)를 추가한 이유입니다. 이는 각 실행의 질문 크기에 맞춰 계산된, 오버헤드가 없는 프롬프트 처리 속도이며, TTFT = 오버헤드 + 토큰/속도로 산출되었습니다.

요청별 오버헤드와 청크 단위의 프리필(prefill) 첫 토큰 입력을 받는 방식에는 면역적이어야 하며, 이는 쿼리당 암시적 프롬프트 처리 속도나 가중 평균과는 다릅니다. 따라서 radiance는 여기서 다른 엔진들과 명확히 다른 방식으로 작동하고 있습니다. radiance와 Strata 모두 어떤 전문가(expert)를 VRAM에 유지할지 결정하는 똑똑한 방법을 사용하고 있으며, 이것이 llama.cpp가 -ncmoe 5, -ngl 49, --tensor-split 1.10,0.90, 그리고 --load-mode none으로 실행되는 경우와 가장 큰 차이를 만듭니다. 저는 이 부분이 미래에 바뀔 것이고, llama.cpp도 다른 엔진들을 따라잡을 것이라고 예상합니다. 저는 최고의 BF16 체크포인트 대안인 Alibaba가 호스팅하는 OpenRouter를 통해 Qwen3.8-Flash와 비교해 보았습니다. 제 생각엔 이것들은 최대 컨텍스트만 다르고 가중치 자체는 같은 것 같지만, 확실히 검증할 수는 없습니다. 지문(Fingerprint) 확인: 모델 평균 일치 (model mean agreement), 첫 번째 발산 (mean first divergence). Unsloth UD-Q3_K_XL 0.465 8.0 Strata 0.565 10.0 radiance 0.469 8.6 전체 생성 일치(Full generation agreement)는 제가 직접 사용한 에이전트 및 채팅 쿼리들의 더 큰 코퍼스에 걸쳐 측정했습니다: 모델 평균 분산 (model mean div (all)), 완전 분산 (mean div (complete)), 비율 (ratio (complete)), @10 (all), 최대 스트릭(max streak). radiance 7.3 6.5 0.0494 26.5% 70 Strata 6.6 5.4 0.0455 24.5% 42 Unsloth UD-Q3_K_XL 6.3 4.8 0.0322 20.5% 70 기본적으로, 저의 목적에는 모두 충분히 가깝다고 생각하여 동등하다고 간주할 수 있으며, 가장 빠른 것을 선택할 수 있습니다. 각주: Unsloth UD-Q4_K_XL 양자화 모델도 시도해 보았지만, Q3보다 더 많은 발산을 나타내는 이상한 결과를 냈습니다. 제 HF 해시를 확인했고 모두 정상이며, gfx1201 커널 버그일 수 있는지 빠르게 테스트했지만 아닌 것 같습니다. 그래서 이것이 어떻게 작동하는지 잘 모르겠지만, 비교 대상에서는 제외했습니다. 이 모든 것을 공유하는 이유는 제가 보고 싶은 정보의 종류이기 때문입니다. 질문이나 비판은 자유롭게 해주세요. 제출자: /u/milkipedia [링크] [댓글]