M4 Pro 대 M5 Pro (24GB): MoEShift를 사용한 Qwen 3.8 Flash Next IQ3 벤치마크 결과 (Prefill

요약

본 기사는 MoEShift 백엔드를 사용하여 M4 Pro와 M5 Pro Mac에서 Qwen 3.8 Flash Next 모델의 추론 성능을 비교한 벤치마크 결과입니다. 그 결과, M5 Pro가 특히 긴 프롬프트(prefill) 및 디코드 속도에서 M4 Pro 대비 현저히 높은 성능 향상을 보였습니다. 이는 메모리 제약이 있는 Apple Silicon 환경에 최적화된 추론 백엔드의 유효성을 입증합니다.

핵심 포인트

• M5 Pro는 M4 Pro 대비 prefill 및 디코드 속도에서 큰 폭의 성능 우위를 기록했습니다.
• MoEShift는 메모리 제한 환경을 위해 설계된 오픈 소스 추론 백엔드입니다.
• 두 기기 모두 최대 프로세스 메모리 사용량이 8.5GB 내외로 유지되어 효율성이 높습니다.
• 이러한 결과는 향후 Qwen4 MoE와 같은 대규모 모델 구동에 매우 유망합니다.