언어 모델(Language Model) 개발의 진보는 종종 비교 결정에 의해 주도됩니다. 즉, 어떤 아키텍처(Architecture)를 채택할지, 어떤 사전 학습 코퍼스(Pretraining Corpus)를 사용할지, 또는 어떤 학습 레시피(Training Recipe)를 적용할지에 대한 결정입니다. 이러한 결정을 잘 내리기 위해서는 신뢰할 수 있는 성능 예측이 필요하지만, 흔히 사용되는 두 가지 신호는 근본적인 한계가 있습니다. 교차 엔트로피 손실(Cross-entropy loss)은 다운스트림 능력(Downstream capabilities)과 정렬(Alignment)이 잘 되지 않으며, 직접적인 다운스트림 평가(Direct downstream evaluation)는 비용이 많이 들고, 희소하며, 학습 초기 단계에서는 정보가 없는 경우가 많습니다.

대신, 우리는 전문가가 작성한 해법(Expert-written solutions)에 대한 후보 모델의 다음 토큰 분포(Next token distribution)로부터 엔트로피(Entropy), top-k 정확도(top-k accuracy), 전문가 토큰 순위(Expert token rank)와 같은 토큰 수준의 통계량을 집계하여 대리 지표(Proxy metrics)를 구축할 것을 제안합니다. 세 가지 설정에서 우리의 대리 지표는 손실(Loss) 및 연산량(Compute) 기반의 베이스라인(Baseline)보다 일관되게 우수한 성능을 보였습니다: 1) 모델 패밀리 간 선택(Cross-family model selection)의 경우, 이들은 이질적인 추론 모델 집단에 대해 평균 Spearman Rho = 0.81의 순위를 매겼습니다 (교차 엔트로피 손실의 Rho = 0.36 대비); 2) 사전 학습 데이터 선택(Pretraining data selection)의 경우, 직접 평가보다 약 $10{,}000 imes$ 적은 연산량으로 타겟 모델을 위한 25개의 후보 코퍼스(Corpora) 순위를 신뢰성 있게 매겼으며, 기존 방법론을 넘어 파레토 프런티어(Pareto frontier)를 확장했습니다; 3) 학습 시간 예측(Training-time forecasting)의 경우, 기존 대안들보다 오차를 약 절반으로 줄이면서 $18 imes$ 연산량 지평(Compute horizon)에 걸쳐 다운스트림 정확도(Downstream accuracy)를 외삽(Extrapolate)했습니다.

종합하면, 이러한 결과는 전문가의 궤적(Expert trajectories)이 모델 능력을 평가하기 위한 광범위하게 유용한 신호원임을 시사하며, 모델 개발 수명 주기 전반에 걸쳐 신뢰할 수 있는 성능 예측을 가능하게 합니다.