최적의 릿지 규제화(Ridge Regularization) 재고

우리는 유계 공분산(Bounded Covariance)을 가진 유한 데이터 샘플 $X$와 유한 분산의 가법적 등방성 노이즈(Additive Isotropic Noise)를 가진 선형 예측 타겟 $y$에 대한 $L^2$-규제화된 선형 (릿지) 회귀(Ridge Regression)를 고려합니다. 우리는 고정된 $X$ 설정에서 생성 파라미터(Generative Parameters)로부터 최적의 규제화 강도(Regularization Strength)를 수치적으로 계산하는 반복 절차(Iterative Procedure)를 제시하며, 제한된 노이즈 수준에서 이 절차의 수렴성을 증명합니다. 합성 데이터(Synthetic Data)를 통한 실험적 평가 결과, 제안된 절차는 샘플 기반 파라미터 추정치와 결합되어 다양한 샘플 크기, 종횡비(Aspect Ratios) 및 노이즈 수준에 걸쳐 근사 최적의 무작위-$X$ 일반화(Random-$X$ Generalization) 성능을 달성함을 보여줍니다. 이때 추가되는 계산 비용은 저매개변수 영역(Underparameterized Regime)에서는 예비 릿지 회귀 1회와 동일하며, 과매개변수 영역(Overparameterized Case)에서는 2회와 동일한 수준입니다.