LLM(Large Language Models)의 발전은 점점 더 표준화된 벤치마크(benchmarks)를 통해 측정되고 있으며, 최첨단(state-of-the-art) 성능의 향상은 종종 1% 미만의 미세한 차이로 구분됩니다. 동시에, 현대적인 LLM을 평가하는 데 드는 계산 비용으로 인해 추론 시점에 학습된 모델을 효율적으로 실행하는 소프트웨어 시스템인 특화된 추론 백엔드(inference backends)의 도입이 널리 확산되었습니다. 확장성 측면에서 매우 중요하지만, 커스텀 CUDA 커널(custom CUDA kernels) 및 저정밀도 산술(reduced-precision arithmetic)과 같은 시스템 수준의 최적화는 토큰 확률(token probabilities)을 변경하고 비결정론(non-determinism)을 유발하여, 결과적으로 생성 결과가 갈라지는 연쇄 반응을 일으킬 수 있습니다.

본 연구에서는 먼저 200개의 서로 다른 엔진을 식별하여 추론 환경을 조사하고, 35,000개의 ML(Machine Learning) 논문을 분석하여 이러한 광범위한 다양성에도 불구하고 특정 추론 스택(inference stack)이 보고되는 경우가 드물다는 것을 발견했습니다. 이어서 우리는 추론 백엔드가 LLM 벤치마크 결과에 어떻게 영향을 미치는지에 대한 체계적인 실증 연구를 제시합니다. 모델 가중치(model weights), 디코딩 파라미터(decoding parameters), 하드웨어를 동일하게 유지한 상태에서, 우리는 vLLM, SGLang, llama.cpp를 포함하여 널리 사용되는 5개의 추론 엔진을 여러 오픈 웨이트(open-weight) 모델 및 기성 벤치마크에 대해 평가합니다.

우리는 백엔드 선택만으로도 벤치마크 점수가 최대 16.6%포인트까지 변동될 수 있으며, 높은 비율의 출력 불일치(output disagreement)를 유발할 수 있음을 보여줍니다. 백엔드 최적화를 격리하고 실행 파이프라인(execution pipeline)을 추적함으로써, 우리는 이러한 차이가 프리픽스 캐싱(prefix caching) 및 CUDA 그래프(CUDA graphs), 커스텀 커널, 그리고 로짓 처리(logit processing)에서의 엔진별 기본 설정(engine-specific defaults)과 같은 시스템 수준의 최적화에 의해 발생한다는 것을 발견했습니다. 우리의 연구 결과는 추론 백엔드를 LLM 평가에서 이전에 보고되지 않았으나 중대한 영향을 미치는 하이퍼파라미터(hyperparameter)로 규정하며, 벤치마크 비교의 재현성(reproducibility)과 해석 가능성(interpretability)을 향상시키기 위해 추론 스택의 표준화된 보고를 옹호합니다.