머신러닝에서의 2차 경로 커널 보간 공식 (Second-Order Path Kernel Interpolation Formulas)

훈련 데이터가 신경망(Neural Network)의 예측을 어떻게 형성하는지 이해하는 것은 현대 학습 이론(Learning Theory)의 핵심적인 문제입니다. 2020년, Pedro Domingos는 결정론적 경사 하강법(Deterministic Gradient Descent)에 의해 학습된 모든 모델에 유효한 보간 공식(Interpolation Formula)을 제안했습니다. 이 공식은 모델의 예측을 테스트 데이터와 훈련 데이터에서의 모델 그래디언트(Gradient)를 일치시키는 데이터 의존적 커널(Data-dependent Kernel)의 최적화 경로(Optimization Path)를 따른 적분으로 표현합니다. 이러한 1차적 특성(First-order Characterization)은 배치 기반 확률적 최적화(Batch-based Stochastic Optimization)로 학습된 모델에 대해서도 여전히 유효합니다. 본 논문에서 우리는 이러한 보간 공식의 2차 형태(Second-order Forms)를 개발합니다. 우리는 주요 경로 커널 보간(Leading Path-kernel Interpolation)이 곡률 가중 보간 항(Curvature-weighted Interpolation Term)에 의해 보완됨을 보여줍니다. 확률적 경사 하강법(Stochastic Gradient Descent, SGD)의 경우, 예측의 곡률(Curvature)과 미니 배치 그래디언트 노이즈(Mini-batch Gradient Noise)의 공분산(Covariance)을 결합하는 샘플링 유도 성분(Sampling-induced Component)이 추가로 나타납니다. 또한 우리는 모멘텀을 포함한 확률적 경사 하강법(Stochastic Gradient Descent with Momentum)으로 표현을 확장하며, 여기서 보간 구조는 유지되지만 가중치는 메모리 관련 요인(Memory-related Factor)에 의해 수정됩니다. 나아가, 우리는 최종 예측에 대한 집중 추정치(Concentration Estimate)를 확립하여, 기대되는 2차 표현(Expected Second-order Representation) 주변의 변동 규모(Fluctuation Scale)를 식별합니다. 종합적으로, 이러한 결과들은 신경망 예측의 경로 커널 해석(Path-kernel Interpretation)에 대한 정교한 개선을 제공합니다.