Qwen3.8-Flash-Next @ 1.66bpw-exl3 STABLE, 36GB 미만에서 구동 가능

요약

Qwen3.8-Flash-Next 모델의 1.66bpw-exl3 STABLE 버전을 소개하며, 이 모델이 36GB 미만의 GPU에서도 전문가 오프로딩 없이 안정적으로 구동 가능함을 강조합니다. 특히 2bpw 이하의 높은 성능과 부드러운 추론 흐름을 보여줍니다.

핵심 포인트

• Qwen3.8-Flash-Next 모델이 36GB 미만 GPU에서도 구동 가능합니다.
• 전문가 오프로딩 없이도 안정적인 2bpw 이하의 성능을 제공합니다.
• 추론 과정 전반에 걸쳐 안정적이며, 부드러운 추론 흐름(200-300 t/s)이 특징입니다.