양자화된 가중치를 FP16 대신 FP8로 스테이징: 2배 빠른 M6 행렬 경로 및 MLX 프리필 성능 +40% 향상 (+ int8 on M5)

일반적인 MLX QMM(quantized matmul) 단계에서는 피연산자(dequant)를 행렬 곱셈 전에 FP16으로 스테이징합니다. 하지만 만약 MLX를 수정하여 대신 FP8로 스테이징하게 한다면, 새로운 Apple Silicon M6 하드웨어에서 2배 빠른 FP8 행렬 경로를 사용할 수 있습니다! 동일한 아이디어는 M5 제품군에서도 작동합니다: 4비트 아핀 가중치를 matmul 전에 int8로 스테이징하면 유사한 프리필 부스트(M5 및 M6)를 얻을 수 있습니다. 이러한 이점은 프리필에 적용됩니다 (+40% 프리필 Qwen3-8B 또는 +50% Qwen3.8-27B). 디코딩은 대역폭 제한적이기 때문에 디코드 측에서는 큰 차이가 없으며, 기본 FP16 스테이징을 사용하도록 두는 것이 좋습니다. 이것은 상위 버전(upstream)이 아닌 실험적인 포크이며 (mlx#4627), 품질 측정 결과: 최악의 경우 퍼플렉서티 증가가 약 1% 미만입니다. FP8 성능 개선에는 macOS 27 및 deployment-target-27 빌드가 있는 M6이 필요하며, int8은 M5 이상에서 작동합니다. 이것은 매우 흥미로운 연구 프로젝트였고, 하드웨어 측면에서 LLM 뒤에 숨겨진 수학적 원리에 대해 더 깊이 이해하는 데 도움이 되었습니다. 😄 모든 세부 정보, 코드 및 증거는 제 블로그에서 확인할 수 있습니다: https://precisit.com/en/blog/apple-matrix-formats/ FP8 + Int8 QMM 패치가 적용된 MLX 포크 자체: https://github.com/precisit/mlx/tree/staged-8bit-qmm 공개합니다: 이 블로그는 제가 근무하는 Precisit의 것입니다. /u/Brilliant-Hall1387에 의해 제출됨 [링크] [댓글]