Qwen3 4B Q4_K 모델에서, mistral.rs는 우리가 측정한 모든 컨텍스트 깊이(context depth)에서 x86 (Sapphire Rapids) 및 ARM (GB10) 환경 모두 llama.cpp보다 더 빠르게 디코딩합니다.

우리는 모든 모델에 대해 전반적인 속도 향상을 달성하기 위해 mistral.rs를 세밀한 수준(granular levels)에서 최적화했습니다. 또한, 우리의 최적화는 AVX2 또는 AVX512를 사용하는 x86부터 NEON을 사용하는 ARM 프로세서에 이르기까지 모든 성능 수준의 CPU에 적용됩니다.

우리는 이 비교가 두 엔진 모두에게 가능한 최선의 조건에서 이루어지도록 하고 싶었습니다. 이를 보장하기 위해 mistral.rs와 llama.cpp에 대해 다양한 설정(configs)을 훑으며 테스트하였고, 각 엔진의 지점별 최적의 설정에서 테스트를 진행했습니다.

방법론(Methodology), 전체 표, 그리고 재현 스크립트(repro scripts)는 여기에서 확인할 수 있습니다: https://github.com/EricLBuehler/mistral.rs/blob/master/releases/v0.9.0/report.md

직접 체험해보고 싶다면, mistral.rs를 설치하는 방법은 매우 간단합니다:

Mac/Linux: curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.sh | sh

Windows: irm https://raw.githubusercontent.com/EricLBuehler/mistral.rs/master/install.ps1 | iex

그 다음, mistral.rs ISQ 시스템을 사용하여 Hugging Face에서 여러분이 좋아하는 모델(Qwen 3.5/3.6, Gemma 4, LFM 2.5)을 직접 실행할 수 있습니다:
mistralrs run -m google/gemma-4-E4B-it --quant 4

재현(Reproductions)은 언제나 환영하며, 특히 제가 직접 벤치마크를 수행하지 않은 하드웨어에서의 결과라면 더욱 반갑습니다!
submitted by /u/EricBuehler
[link] [comments]