벤치마크 점수는 모델의 속성으로 보고되지만, HuggingFace, vLLM 또는 Ollama와 같이 점수를 생성하는 데 사용된 추론 프레임워크 (inference framework)는 영향력이 없는 것으로 간주되며 그 이름과 버전은 거의 공개되지 않습니다. 본 연구에서는 이러한 선택이 모델 출력에 얼마나 영향을 미칠 수 있는지 조사합니다. 완전 교차 연구 (fully-crossed study; 3개의 지시어 튜닝 모델 x 5개의 추론 프레임워크 x 6개의 벤치마크 x 4개의 생성 모드)를 통해 서로 다른 도구 (래퍼/백엔드)가 벤치마크 점수에 어떻게 영향을 미치는지, 그리고 점수의 변화가 생성 하이퍼파라미터 (generation hyper-parameters)에 의해 어떻게 영향을 받는지 조사합니다. 우리는 백엔드가 무시할 수 없는 요인임을 발견했으며, 탐욕적 (greedy), 샘플링 노이즈가 없는 디코딩 (sampling-noise-free decoding) 환경에서도 백엔드를 변경하면 모델의 성능이 크게 달라질 수 있으며, 이러한 효과는 구조적이고 모델 의존성이 매우 높다는 것을 확인했습니다. 생성 모드에 따라 분산을 분해해 보면, 실무자가 즉석에서 (out-of-the-box) 경험하는 변동성의 상당 부분 (약 39%)이 백엔드에서 기인할 수 있는 반면, 나머지는 샘플링 노이즈 (sampling noise)와 각 프레임워크의 기본 생성 파라미터 (default generation parameters)에서 기인하며, 이 두 가지는 생성 설정 (generation configuration)을 공개하고 일치시킴으로써 피할 수 있습니다. 이러한 차이는 사회적 편향 (social-bias) 벤치마크보다 사실 관계 (factual) 벤치마크에서 더 두드러지게 나타납니다. 종합적으로, 벤치마크 수치는 백엔드에 독립적 (backend-agnostic)이지 않습니다. 따라서 우리는 백엔드, 해당 버전, 그리고 전체 생성 설정을 공개할 것을 권장하며, 백엔드 간 비교를 위해서는 결정론적 디코딩 (deterministic decoding)을 사용할 것을 권장합니다.