하이퍼파라미터를 검색하지 않고 해결하기: 스플라인 회귀 (Spline Regression)를 위한 Kolmogorov-최적 스케일링 법칙

하이퍼파라미터 튜닝 (Hyperparameter tuning)은 거의 항상 검색을 의미합니다. 즉, 그리드 (grid) 상의 모든 값에 대해 모델을 적합시키고, 교차 검증 (cross-validation)을 통해 각각의 점수를 매긴 뒤, 가장 우수한 모델을 선택하는 과정입니다. 스플라인 회귀 (spline regression)의 경우, 이러한 검색은 불필요합니다. 최적의 해상도 (resolution)는 전수 조사 (exhaustive search)가 도달하는 정확도로, 훨씬 적은 연산량만으로 폐쇄형 (closed form)으로 해결할 수 있습니다. 이를 가능하게 하는 세 가지 요소가 있습니다. 첫째, 고전적 근사 이론 (classical approximation theory)은 제곱 편향 (squared bias)을 해상도 $G$의 알려진 거듭제곱으로 고정하는데, 이는 매끄러움 클래스 (smoothness class)의 정확한 Kolmogorov $n$-폭 (Kolmogorov $n$-width)과 일치합니다. 둘째, 기저 차원 (basis dimension)은 $G$에 대한 명시적인 다항식 (polynomial)입니다. 셋째, 하나를 제외한 오차 (leave-one-out error)는 PRESS 항등식 (PRESS identity)을 통해 단 한 번의 적합 (fit)으로 도출됩니다. 알려진 두 곡선의 균형을 맞춤으로써 분석적으로 최소화 지점 (minimizer)을 구할 수 있습니다.

우리는 주변 입력 차원 (ambient input dimension)을 상호작용 차수 (interaction order), 즉 ANOVA 분해 (ANOVA decomposition)에서 활성화된 저차 성분 (low-order components)의 개수로 대체함으로써 이 계산법을 여러 좌표로 확장하며, 이를 통해 최적 해상도와 오차가 유효 밀도 (effective density, 활성 성분당 샘플 크기)의 거듭제곱 함수가 되는 스케일링 법칙 (scaling law)을 도출합니다. 이때 입력 차원은 지수 (exponent)에서 제외됩니다. 이 법칙은 알고리즘이 됩니다. KORE (Kolmogorov-optimal Order-aware Resolution Estimation)는 두 개의 파일럿 해상도 (pilot resolutions)를 적합시키고, 편향 (bias) 및 노이즈 스케일 (noise scales)을 위해 레버리지 교정된 (leverage-calibrated) 2x2 시스템을 해결하며, 아주 작은 하나를 제외한 검증 (leave-one-out certificate)을 통해 폐쇄형 플러그인 해상도 (closed-form plug-in resolution)를 평가합니다. 이는 전체 그리드 탐색 (grid sweep) 대신 약 12번의 적합만으로 가능하며, 샘플이 증가함에 따라 일관성 (consistency)을 보장합니다. 최대 80개의 입력 차원에 이르는 가법적 (additive) 및 희소 쌍별 (sparse pairwise) 타겟에 대해, KORE는 모델을 약 8배 적게 적합시키면서도 전수 조사 방식의 3-겹 교차 검증 (3-fold cross-validation) 및 전체 고전적 사다리 (GCV, Mallows' Cp, AIC, BIC)와 일치하는 성능을 보였습니다. 36개의 실제 정형 데이터셋 (tabular datasets)에서 KORE는 단위 연산량당 정확도 측면에서 21개 방법론 중 1위를 차지했으며, 튜닝된 부스터 (boosted models) 및 커널 머신 (kernel machines)보다 앞섰습니다. 복잡성이 낮은 상호작용 차수에 존재할 때, 해상도를 검색하는 것보다 직접 해결하는 것이 더 효과적입니다.