대규모 언어 모델(LLM)이 프리필 단계(prefill-phase) 은닉 상태만을 사용하여 몇 개의 토큰을 디코딩할지 예측하는 것은 추론 스케줄링을 위한 핵심 원시 요소입니다. 우리는 현재의 벤치마크가 예측기 품질과 작업 난이도를 혼동하고 있음을 보여줍니다. 즉, 대상 모델, 데이터셋 또는 샘플링 구성이 변경될 때 보고된 정확도가 무너지는 현상이 발생하며, 이는 예측기가 변하지 않았음에도 불구하고 나타납니다. 우리는 이러한 불안정성을 간과된 오류 원인—자기회귀 디코딩(autoregressive decoding)의 본질적인 확률적 특성(inherent stochasticity)—에서 찾고, 모든 프리필 측 방법이 따라야 하는 경계(bounds)를 도출합니다.
우리의 분석은 디코딩을 멈춘 확률 과정(stopped stochastic process)으로 다룹니다. 응답의 단계별 중단 확률(per-step stopping probability)은 일정하지 않고 수백 단계에 걸쳐 증가하므로, 디코드 길이는 응답이 끝나는 지점을 결정하는 많은 국지적 결정들로부터 중심 극한 정리(central limit theorem)를 물려받습니다. 이는 명시적인 오차 항을 가진 프롬프트당 정규성(per-prompt normality)과 함께, 그 기울기가 응답 세그먼트 수의 변동 계수(coefficient of variation)인 아핀 분산 법칙($σ=αμ+b$)을 제공합니다.
경험적으로, 이 정규 법칙은 프롬프트당 평균 절대 오차(MAE)와 디코드 길이 분포의 중심 질량(central mass)을 몇 퍼센트 오차 범위 내에서 재현하며, 정규성으로부터의 잔여 편차(약한 우측 꼬리 분포, 약간 과도한 첨도)는 샘플링 노이즈 보정으로 예측되는 것들입니다. 모델, 데이터 및 샘플링 조건이 고정된 상황에서, MLP, EGTP, FiLM, 소프트 레이블(soft-label), Mixture-of-Experts 변형 등 광범위한 설계 공간을 가진 여러 예측기들이 경계에 근접하여 유사한 성능으로 수렴하는 것은
시스템 오류가 모델 오류를 지배한다(system error dominates model error)는 것을 확인시켜 줍니다. 우리는 모델, 데이터 및 샘플링 매개변수를 고정하고 상대 오차 측정 지표와 절대 오차 측정 지표를 함께 보고하는 벤치마킹 프로토콜을 주장합니다. 코드와 분석 도구는 https://github.com/ShwStone/DecodingPredict에서 이용 가능합니다.