iPhone에서 전문가 건너뛰기 없이 구동되는 35B MoE 모델의 성능

요약

OpenBMB가 Lookahead Expert Scheduling (LES) 기술을 개발하여, 대규모 MoE 모델(MiniCPM-V 4.7)을 전문가 건너뛰기 없이 iPhone 같은 로컬 기기에서 구동하는 방법을 제시했습니다. LES는 다음 레이어에 필요한 전문가를 예측하고, 플래시 스토리지에서 가중치를 미리 불러와 계산 속도를 혁신적으로 개선합니다.

핵심 포인트

• LES 기술로 MoE 모델을 로컬 디바이스에서 효율적으로 구동 가능
• 전문가 가중치 사전 로딩(Preloading)으로 메모리 병목 현상 해결
• iPhone 18 Pro Max에서 기준 대비 약 6배 빠른 성능 달성
• llama.cpp-omni에 구현체 공개로 접근성 높음