BaseRT: Apple M5 Neural Accelerators를 통한 최고 수준의 LLM 추론 성능 향상

요약

Apple M5의 전용 Neural Accelerator를 활용하여 LLM 추론 성능을 극대화하는 Metal 기반 런타임 BaseRT를 소개합니다. BaseRT는 Metal 4 텐서 API를 통해 행렬 연산을 가속하며, llama.cpp 및 MLX 대비 압도적인 프롬프트 처리량을 제공합니다.

핵심 포인트

• Apple M5의 온다이 매트릭스 유닛을 활용한 BaseRT 런타임 공개
• llama.cpp 대비 최대 6.4배, MLX 대비 3.9배 높은 프롬프트 처리량 달성
• MoE 모델 및 행렬 곱셈 연산에서 탁월한 성능 향상 입증
• Metal 4 텐서 코어를 활용한 온디바이스 LLM 추론의 새로운 한계 설정