여러분, MTPLX에 대한 업데이트입니다! 지난달 swift 기반 앱과 코딩 사용을 위한 CLI를 업그레이드하여 MTPLX V1을 출시한 지 한 달 만에 MTPLX V2를 발표하게 되어 기쁩니다. 가장 큰 변화는 터보 모드(Turbo Mode)입니다. 사용자 정의 검증 전문 양자화된 행렬 곱셈 커널(custom verify-specialized quantized-matmul kernels)과 컴파일된 검증 단계(compiled verify step)를 사용하여, 온도 0.6에서 Macbook Pro M5 Max에서 82 TPS를 달성했습니다. 또한 SSD KV 캐시와 긴 컨텍스트 도구 호출 개선에 대한 중요한 변경 사항도 출시되었습니다. Ivan Fioravanti가 보여준 MTPLX 대 oMLX 대 DGX Spark의 예비 벤치마크입니다. 가장 빠른 MLX 런타임에 대한 여러분의 의견을 기대합니다. /u/YoussofAl이 r/LocalLLaMA에 제출했습니다. [link] [comments]