Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S) 성능 테스트 결과: 12GB VRAM 및 32GB RAM 환경에서 디코딩 속도와

저는 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated를 IQ3_S로 구동했으며, 단지 12GB VRAM과 32GB 시스템 RAM만으로 2030 tok/sec의 디코딩 속도(Q2는 3945 tok/s 달성)와 131k 컨텍스트에서 300부터 약 90,000 tok/sec의 프리필 속도를 달성했습니다. 이 모델은 Strata의 커스텀 포크 버전입니다. 이 포크에는 엄청난 양의 아키텍처 변경 사항이 포함되어 있으며, 모두 매우 실험적이라서 아마도 작동하지 않을 수 있습니다. 하지만 성능이 이를 상쇄합니다. 이는 컴퓨팅 자원 2k 이하에서 로컬 Opus와 비슷한 느낌을 줍니다. https://github.com/bodhi37/Qwen3.8-Flash-12GBRAM-32GBVRAM-SSD-Recipe https://github.com/bodhi37/strata /u/bodhi371이 제출했습니다 [링크] [댓글]