블랙박스 보조 회귀 (Black-Box Assisted Regression): 상전이와 미니맥스 최적성 (Minimax Optimality)

파운데이션 모델 (Foundation models)은 레이블이 지정된 데이터가 제한적인 다운스트림 태스크 (downstream tasks)를 위해 고정된 블랙박스 예측기 (black-box predictors)로 자주 사용되지만, 이들의 예측은 편향될 수 있으며 맹목적으로 신뢰하기에는 안전하지 않을 수 있습니다. 우리는 블랙박스 보조 비모수 회귀 (black-box assisted nonparametric regression)를 통해 이 설정을 연구합니다. 즉, 학습자는 레이블이 지정된 샘플을 관찰하고 고정된 예측기 $f_0$에 질의할 수 있으며, 타겟 $f^*$는 미지의 반경 $δ$ 내에서 $L_2(P_X)$ 상의 $f_0$와 가깝습니다. 우리는 $δ_c(n) \asymp n^{-β/(2β+d)}$에서 상전이 (phase transition)가 발생하며, 주요 리스크 (leading risk)가 $\min{δ^2, n^{-2β/(2β+d)}}$임을 보여주는 유한 샘플 미니맥스 특성 (finite-sample minimax characterization)을 제시합니다. 그런 다음 우리는 안전한 잔차 추정기 (Safe Residual Estimator)를 분석합니다. 이 추정기는 $f_0$ 주변의 보정 (correction)을 학습하며, 초기 예측기가 $f_0$와 동일하도록 잔차 헤드 (residual head)를 0으로 초기화하고, 학습된 보정이 검증 데이터 (validation data)에 의해 뒷받침되지 않을 경우 $f_0$로 되돌아가기 위해 홀드아웃 선택 (holdout selection)을 사용합니다. 여기서 "안전함 (safe)"이란 부정적 전이 (negative transfer), 즉 블랙박스 예측기 단독 사용보다 성능이 저하되는 상황을 피하는 것을 의미합니다. 이 추정기는 가산적인 검증-선택 비용 (additive validation-selection cost)을 제외하면 주요 미니맥스 항 (minimax term)과 일치합니다. 합성 회귀 (Synthetic regression) 실험을 통해 예측된 상전이를 검증하였으며, CLIP을 이용한 CIFAR-100 및 Qwen3-8B를 이용한 AG News 실험은 동일한 잔차-보정 트레이드오프 (residual-correction tradeoff)가 공식적인 제곱 손실 (squared-loss) 회귀 설정을 넘어 실무적으로도 유용하다는 증거를 제공합니다.