LLM의 행동으로 관찰되는 현상은 추론 백엔드 (Inference Backend)의 부작용일 수 있다

요약

LLM의 벤치마크 점수가 모델 자체의 성능뿐만 아니라 사용된 추론 프레임워크(vLLM, Ollama 등)에 의해 크게 좌우될 수 있음을 연구했습니다. 연구 결과, 백엔드 설정이 모델 출력과 성능에 구조적인 영향을 미치며 벤치마크 수치의 신뢰성을 저해할 수 있음을 확인했습니다.

핵심 포인트

• 추론 백엔드(vLLM, HuggingFace 등)가 모델 벤치마크 점수에 유의미한 영향을 미침
• 실무자가 겪는 변동성의 약 39%가 추론 백엔드에서 기인할 수 있음
• 백엔드 변경 시 탐욕적 디코딩 환경에서도 모델 성능이 크게 달라짐
• 정확한 비교를 위해 백엔드 버전 및 전체 생성 설정 공개 권장