Apple Silicon용 LLM 추론 엔진 개발 및 MTP와 메모리 대역폭 검증

요약

Apple Silicon Mac용 로컬 LLM 추론 엔진인 ax-engine을 개발하고, 그 기술적 배경과 설계 방침을 설명합니다. 이 엔진은 Apple의 Unified Memory Architecture 환경에서 메모리 대역폭 병목 현상을 해결하는 데 초점을 맞추었습니다. 특히 MTP(Multi-Token Prediction)를 활용하여 디코딩 속도를 높였으며, mlx-lm 대비 높은 성능을 보여주었습니다.

핵심 포인트

• Apple Silicon의 Unified Memory 특성을 고려한 로컬 추론 엔진 개발.
• MTP(Multi-Token Prediction)를 도입하여 토큰 생성 속도 향상 시도.
• ax-engine은 OpenAI 호환 API를 제공하여 기존 애플리케이션 연동 용이.
• 성능 측정 시 모델, 양자화 등 환경 변수를 통일해야 정확한 비교 가능.