Turbo-fieldfare: Apple Silicon에서 2GB RAM으로 Gemma 4 26B를 실행하는 오픈 소스 엔진

요약

Apple Silicon 환경에서 Gemma 4 26B 모델을 단 2GB의 RAM만으로 실행할 수 있는 오픈 소스 Swift/Metal 추론 엔진인 Turbo-fieldfare를 소개합니다. M2 및 M5 칩셋에서 효율적인 추론 속도를 보여주며 OpenAI 호환 로컬 서버 기능도 제공합니다.

핵심 포인트

• Apple Silicon 최적화 Swift/Metal 기반 커스텀 엔진
• Gemma 4 26B 모델을 2GB RAM으로 초경량 실행 가능
• M2 MacBook Air에서 5-6 tok/s, M5에서 31-35 tok/s 성능 구현
• OpenAI 호환 로컬 서버 및 도구 호출(tool-call) 지원