최근에 이 기사에 대해 읽었습니다:
The Silent Hyperparameter: Quantifying the Impact of Inference Backends on LLM Reproducibility

제가 배운 내용은 다음과 같습니다:
LLM 추론 엔진 (Inference engines)은 사용자의 하드웨어에서 대규모 언어 모델 (LLM)을 실행할 수 있는 플랫폼을 제공합니다. 하지만 추론 엔진의 선택은 모델의 동작에 상당한 영향을 미칠 수 있으며, 출력 품질, 추론 길이 및 전반적인 성능에 변동을 초래할 수 있습니다.

모델 자체를 넘어, 추론 스택 (Inference stack)은 결과에 영향을 미칠 수 있는 추가적인 요인들을 도입합니다:

기본 엔진 동작 (Default engine behaviour)

• Ollama와 같은 일부 추론 엔진은 사용자가 제공한 프롬프트 앞에 기본 토큰 (Default tokens), 템플릿 (Templates) 또는 시스템 프롬프트 (System prompts)를 자동으로 추가합니다.
• 반복 페널티 (Repetition penalties) 또는 빈도 페널티 (Frequency penalties)와 같은 기본 생성 파라미터 (Default generation parameters)는 모델의 동작을 변경할 수 있습니다. 예를 들어, Ollama의 기본 페널티는 DeepSeek와 같은 모델에서 사고의 사슬 (Chain-of-thought) 추론의 길이와 깊이를 감소시키는 것이 관찰되었습니다.

수치 및 하드웨어 관련 변동 (Numerical and hardware-related variations)

• **Prefix caching mechanisms (프리픽스 캐싱 메커니즘)**은 vLLM, Ollama, SGLang과 같은 추론 엔진(inference engines)에서 기본적으로 활성화됩니다. 이는 효율성 향상을 위해 이전에 계산된 KV 캐시(KV cache)를 재사용하도록 설계되었지만, 실행 경로와 부동 소수점 연산(floating-point operations)의 순서를 변경하여 미세한 수치적 변동을 일으킬 수 있습니다.

• Greedy decoding (탐욕적 디코딩) 중 커널 수준의 tie-breaking (타이 브레이킹). 여러 토큰이 동일한 로짓(logits)을 가질 때(특히 FP16 정밀도 환경에서), PyTorch는 결정론적으로 가장 낮은 토큰 ID를 선택하는 반면, LMDeploy의 병렬 Top-K 커널은 스레드 스케줄링(thread scheduling)으로 인해 다른 토큰을 선택할 수 있으며, 이는 생성 결과의 차이로 이어집니다.

• 행렬 곱셈(matrix multiplication) 중 누적 정밀도 (Accumulation precision). 추론 엔진들은 누적 정밀도 선택 방식에서 차이를 보입니다. 예를 들어, llama.cpp와 Ollama는 중간 행렬 곱셈 결과를 FP32로 누적할 수 있는 반면, 다른 엔진들은 FP16에서 누적을 수행합니다. 이러한 차이는 작은 반올림 오차(rounding variations)를 유발하며, 이는 후속 트랜스포머 레이어(transformer layers)를 통해 전파되어 궁극적으로 생성된 출력에 영향을 미칠 수 있습니다.

이러한 요인들은 근본적으로 동일한 기저 문제의 발현입니다: 추론 스택(inference stack)은 단순한 실행 레이어가 아니라 모델의 실질적인 런타임 환경(runtime environment)의 일부입니다. 작은 구현 차이가 생성된 출력에서 측정 가능한 변동을 초래할 수 있으며, 특히 대규모 추론 모델(large reasoning models)에서 더욱 그러합니다.

따라서 단순히 랜덤 시드(random seed)를 고정하는 것만으로는 재현성을 보장하기에 불충분합니다. 결정론적 동작(Deterministic behaviour)을 위해서는 다음을 포함한 전체 추론 스택을 제어하고 문서화해야 합니다:

• 추론 엔진 및 버전
• 모델 형식 및 양자화 방법 (quantisation method)
• 런타임 백엔드 및 커널 구현
• 하드웨어 구성
• 정밀도 설정
• 생성 파라미터 (Generation parameters)
• 프롬프트 템플릿 및 시스템 수준의 수정 사항

추론 환경은 모델 사양 (model specification)의 일부로 취급되어야 하며, 배포 간의 재현성 (reproducibility)과 공정한 비교를 보장하기 위해 평가 결과와 함께 전체 시스템 발자국 (system footprint)이 공개되어야 합니다.

원저자들에게 공로를 돌립니다. 그들의 논문은 이 글에 영감을 준 더 상세한 설명, 방법론 (methodology), 그리고 포괄적인 결과들을 제공합니다.