네, 검증 완료됐습니다. Flash-MoE는 실제로 MacBook M3 Max(48GB RAM)에서 Qwen3.5-397B-A17B 모델(209GB)을 SSD 스트리밍으로 실행합니다. MoE 구조 활용해 레이어별 4개 expert만 불러오며 4.4~5…

요약

Flash-MoE 기술을 활용하여 MacBook M3 Max(48GB RAM) 환경에서 209GB의 대규모 언어 모델인 Qwen3.5-397B-A17B를 SSD 스트리밍 방식으로 성공적으로 구동했습니다. 이 방식은 MoE(Mixture of Experts) 구조의 특성을 활용하여 레이어별로 필요한 4개의 expert만 불러옴으로써 메모리 효율성을 극대화합니다. 그 결과, 4.4~5.7 토큰/초라는 준수한 추론 속도를 달성했습니다.

핵심 포인트

• Flash-MoE는 대규모 모델을 제한된 RAM 환경에서 구동할 수 있게 하는 기술입니다.
• SSD 스트리밍 방식을 통해 209GB 모델을 48GB RAM의 MacBook M3 Max에서도 실행 가능하게 했습니다.
• MoE 구조를 활용하여 필요한 expert만 동적으로 로드함으로써 메모리 사용량을 최적화합니다.
• 실제 추론 속도는 4.4~5.7 토큰/초로 측정되었습니다.