Apple의 M5 세대는 모든 코어가 전용 Neural Accelerator를 탑재한 재설계된 GPU 아키텍처를 도입했습니다. 이 Neural Accelerator는 Metal 4 텐서 API를 통해 노출되는 온다이(on-die) 매트릭스 유닛입니다. 우리는 Apple Silicon 상의 대규모 언어 모델(LLM)을 위한 네이티브 Metal 추론 런타임인 BaseRT를 통해, 이러한 유닛을 활용함으로써 Apple 하드웨어에서의 추론 처리량(throughput)을 llama.cpp 및 MLX보다 실질적으로 훨씬 높게 끌어올릴 수 있음을 보여줍니다. BaseRT의 프레임워크 프리(framework-free) 설계를 기반으로, 우리는 직접 작성한 Metal 4 텐서 코어 커널 제품군(dense 및 mixture-of-experts GEMM, flash-attention prefill 커널 포함)을 추가했습니다. 이 커널들은 추론의 연산 집약적(compute-bound)인 행렬 곱셈을 M5 Neural Accelerators로 라우팅하는 동시에, 메모리 집약적(memory-bound)인 디코딩(decode) 경로는 기존의 특화된 커널에 남겨둡니다. Apple M5 Pro에서 1B 미만부터 35B 파라미터에 이르는 Qwen3, Qwen3.5/3.6, Llama 3.2, Gemma 4 제품군을 아우르는 15가지 모델 구성에 대해 테스트한 결과, BaseRT는 llama.cpp보다 최대 $6.4 imes$, MLX보다 최대 $3.9 imes$ 높은 프롬프트 처리(prompt-processing) 처리량을 제공했습니다. 특히 행렬 곱셈이 지배적인 mixture-of-experts 모델에서 가장 큰 격차를 보였으며, 디코딩(decode) 성능에서도 llama.cpp 대비 최대 $1.75 imes$, MLX 대비 최대 $1.33 imes$ 앞서는 우위를 유지했습니다. 이러한 결과는 온디바이스(on-device) LLM 추론의 새로운 성능 한계를 설정하며, M5의 텐서 코어가 Apple Silicon에서 프롬프트 처리를 위한 결정적인 레버임을 보여줍니다. BaseRT는 https://github.com/basecompute/baseRT 에서 공개적으로 사용할 수 있습니다.