Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): 12GB VRAM + 32GB RAM + NVME 환경에서의 성능 보고

저는 Qwen3.8-Flash-Next-GSQ-RCO-Abliterated를 IQ3_S로 구동했으며, 단지 12GB VRAM + 32GB RAM + NVME만으로도 131k 컨텍스트(44k 사고 예산)에서 디코딩 시 초당 4050 토큰, 프리필(prefill) 시 초당 13001500 토큰을 달성했습니다. Strata의 커스텀 포크를 사용했습니다. IQ3_S라는 것을 보고 바로 무시하지 마세요. 이 레시피는 ISTADASLab의 GSQ-RCO Qwen3.8-FN의 abliterated 버전을 사용하는데, 이는 BF16의 약 99%를 유지합니다. 당연히 어떤 양자화(quantization) 방법에도 거친 부분이 있지만, 제가 테스트한 모든 일반적인 imatrix 양자화와 비교했을 때 이 모델에 가장 좋은 양자화입니다 (이 하드웨어 등급에서는 더 높은 정밀도의 균일한 양자화가 더 잘 작동할 것이 분명합니다). 그리고 단지 약 44GB의 결합 VRAM/RAM과 SSD만으로 이러한 속도로 구동된다는 것은 다소 터무니없습니다. 이 포크에는 수많은 아키텍처 변경 사항이 포함되어 있으며, 모두 매우 실험적입니다. 하지만 성능이 이를 상쇄합니다. 이것은 어떤 면에서 로컬 Opus와 같은 느낌을 줍니다. 모든 것을 위한 로컬 AI입니다. https://github.com/bodhi37/Qwen3.8-Flash-12GBRAM-32GBVRAM-SSD-Recipe https://github.com/bodhi37/strata /u/bodhi371 님이 제출했습니다. [링크] [댓글]