Qwen3.8 Flash Next 125B IQ3_XXS를 24GB M4 Pro에서 구동: 10 t/s에서의 최대 프로세스 메모리 7.5GB

요약

본 기사는 Mac mini의 M4 Pro 환경에서 대규모 로컬 모델(Qwen 3.8 Flash Next)을 구동하는 성능 비교를 다룹니다. 개발된 MoEShift 런타임은 SSD 전문가 로딩, RAM 캐싱 등을 활용하여 기존 방식 대비 추론 속도와 메모리 사용량을 크게 개선한 것이 핵심입니다.

핵심 포인트

• MoEShift는 Strata보다 총 추론 시간(63.3초 vs 129.9초)에서 우수한 성능을 보였습니다.
• 프롬프트 처리 속도에서 MoEShift가 160.8 tok/s로 높은 효율성을 입증했습니다.
• 최대 메모리 사용량 측면에서도 MoEShift는 7.5GB로 Strata(14GB)보다 적은 자원을 사용합니다.
• MoEShift는 llama.cpp와 Lookahead Expert Scheduling을 기반으로 구축된 새로운 런타임입니다.