turboquant 및 (커스텀 커널)을 사용하여 MLX에서 실행되는 Gemma4 26b MoE

요약

작성자는 turboquant 및 커스텀 커널을 활용하여 MLX 프레임워크에서 Gemma4 26b MoE 모델을 성공적으로 실행하는 방법을 공유했습니다. 이 최적화된 방식은 MacBook Air M5 환경에서 128k 컨텍스트와 4개의 동시 배치로 Gemma4 26b를 구동할 수 있게 합니다. 특히, mmap 없이 실행되는 8k 컨텍스트 환경에서 MLX 기반 구현은 llama.cpp 대비 프롬프트 처리 속도(pp tok/s)와 생성 속도(gen tok/s) 모두에서 우수한 성능을 보여주었습니다.

핵심 포인트

• MLX, turboquant 및 커스텀 커널 조합을 통해 Gemma4 26b MoE 모델의 고성능 구동이 가능해졌습니다.
• MLX 기반 구현은 llama.cpp 대비 프롬프트 처리 속도와 생성 속도 모두에서 성능 우위를 입증했습니다 (8k 컨텍스트 환경 기준).
• 최적화를 위해 SWA 레이어용 커스텀 커널을 개발하여 런타임 메모리 절감과 높은 배치 크기 지원을 달성했습니다.
• 사용자는 제공된 GitHub 리포지토리와 `uv tool install` 명령어를 통해 모델 서빙 환경을 쉽게 구축할 수 있습니다.