VRAM 8GB와 RAM 32GB로도 Qwen 3.8 Flash Next를 최대 900 t/s PP 및 30 t/s TG 속도로 구동할 수

요약

본 글은 VRAM 8GB와 RAM 32GB의 일반 소비자급 하드웨어 환경에서 Qwen 3.8 Flash Next 같은 대규모 언어 모델을 구동하는 방법을 다룹니다. 핵심 기술인 Strata를 활용하여 워크로드를 VRAM, RAM, SSD에 분산시키고, 매개변수 조정(예: --mmap-experts)을 통해 높은 처리 속도와 토큰 생성 속도를 달성할 수 있음을 보여줍니다.

핵심 포인트

• Strata는 VRAM, RAM, SSD 전반에 걸쳐 워크로드를 분산하는 기술입니다.
• 매개변수 조정(예: --mmap-experts)을 통해 성능 향상을 극대화할 수 있습니다.
• 8GB VRAM 환경에서도 고성능 모델 구동이 가능함을 입증했습니다.
• Gyro S 양자화 모델이 품질과 속도 면에서 균형 잡힌 결과를 보였습니다.