사전 미세 조정 예측을 위한 리스크 분해 프레임워크 (A Risk Decomposition Framework for Pre-Hoc

LLM(대규모 언어 모델)의 미세 조정 (Fine-tuning)에 드는 높은 비용은 상당한 경제적 장벽을 형성하며, 사전 미세 조정 성능 예측 (Pre-hoc performance prediction)은 이러한 비용을 실질적으로 줄일 수 있는 중요한 해결책을 제공합니다. 그러나 사전 미세 조정 성능 예측의 이론적 한계는 아직 탐구되지 않은 상태입니다. 본 연구에서는 이를 정보 제약 조건 하에서의 확률적 추정 문제 (Stochastic estimation problem)로 공식화하고, 예측 리스크 (Prediction risk)를 두 가지 구성 요소인 내재적 한계 (Intrinsic limit, 정적 데이터-모델 호환성)와 줄일 수 있는 최적화 분산 (Reducible optimization variance)으로 분해합니다. 우리는 최적화 분산이 그 감소율에 대해 필수적인 하한 (Lower bound)을 가짐을 증명하며, 이는 사용되는 예측기 (Predictor)와 관계없이 불확실성이 소멸되는 속도에 근본적인 제약이 있음을 시사합니다. 이러한 역학을 바탕으로, 우리는 예산 최적화 탐색 원칙 (Budget-optimal probing principle)을 도출하고, 작업을 세 가지 뚜렷한 영역인 정적-충분 (Static-Sufficient), 동적-임계 (Dynamic-Critical), 노이즈-지배 (Noise-Dominant)로 분류하는 예측 가능성 상전이 도표 (Predictability phase diagram)를 도입합니다. 합성 데이터 및 실제 벤치마크에 대한 광범위한 실험을 통해 이러한 이론적 영역을 검증하고, 우리의 탐색 전략 (Probing strategy)의 효율성을 입증합니다.