10GB 미만 메모리에서 Inkling-Small 276B-A12B가 약 2.9 tok/s로 작동

요약

Mference 프로젝트를 통해 Inkling-Small 276B-A12B와 같은 대규모 MoE 모델을 10GB 미만의 메모리 환경에서 구동하는 방법을 소개합니다. Swift와 Metal 기반으로 제작되어 Mac 하드웨어에 최적화되었으며, 소비자급 기기에서의 대형 모델 실행을 목표로 합니다.

핵심 포인트

• Inkling-Small 276B 모델을 10GB 미만 메모리에서 약 2.9 tok/s로 실행 가능
• Swift와 Metal을 사용하여 MLX/llama.cpp 래퍼가 아닌 독자적인 엔진 구축
• Gemma 4, Qwen, DeepSeek 등 다양한 모델 제품군 지원
• 소비자급 하드웨어에서 대규모 MoE 모델 구동 최적화 지향