Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
선형 회귀 모델에서 훈련 오차가 높음에도 불구하고 테스트 오차가 낮은 '양성적 미적합(benign misfitting)' 현상을 수학적으로 분석합니다. 특정 데이터 크기 범위에서 SGD가 최적의 예측 성능을 내면서도 높은 훈련 오차를 유지함을 증명합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기훈련 오차(Training error)는 우리가 훈련 세트에서 관찰할 수 있는 것이며, 테스트 오차(test error)는 우리가 실제로 관심을 갖는 양입니다. 우리는 결정론적인 $(d+1)$ 차원 단일 스파이크 모델(single-spike model)에서 제곱 오차(squared-error)를 사용하는 선형 회귀(linear regression)를 연구합니다. 각각의 정형화된 훈련 벡터는 $\gamma>1$인 진폭 $\sqrt{\gamma}$를 가진 동일한 정보성 스파이크 좌표를 가집니다. 나머지 방향은 방해 요소(nuisance)이며, 서로 다른 훈련 벡터의 방해 요소 성분들은 모두 동일한 노름(norm)을 가지며 상호 직교(mutually orthogonal)합니다. 훈련 레이블(training labels)은 모두 $1$입니다. 새로운 테스트 포인트는 $\vec{x}{\rm test} \sim \mathcal{N}(\vec{0},\operatorname{diag}(\gamma,1,\ldots,1))$에서 추출되며, 노이즈가 없는 테스트 레이블은 정규화된 스파이크 좌표 $x{\rm test}[1]/\sqrt{\gamma}$입니다. 우리는 훈련 벡터의 스팬(span) 내에 있는 선형 예측기(linear predictors)에 집중하며, 이는 제로 초기화된 선형 경사 하강법(linear gradient methods)에 의해 자연스럽게 도달되는 클래스입니다. 우리는 일반화가 잘 되는 모든 스팬 예측기가 제로 예측기(zero predictor)보다 훈련 데이터에 extit{더 나쁘게}(worse) 적합되어야만 하는 다양한 훈련 세트 크기 $n$의 범위를 보여줍니다. 우리는 이 영역을 extit{양성적 미적합(benign misfitting)}, 즉 제4사분면이라고 부릅니다. 최적의 스팬 예측기는 $n \gg d/\gamma^2$일 때 일반화를 시작하는 반면, 보간(interpolation)은 더 늦은 임계값인 $n \gg d/\gamma$가 될 때까지 일반화되지 않습니다. $d/\gamma^2 \ll n \ll d/\gamma$인 구간에서, 선형 스팬 내의 유용한 예측은 보간을 넘어섭니다. 즉, 훈련 포인트에 대한 예측이 레이블을 초과(overshoot)하게 됩니다. 우리는 큰 상수 학습률(learning rate)을 가진 1-패스 확률적 경사 하강법(one-pass stochastic gradient descent, SGD)이 이 구간 전체에서 작은 테스트 오차에 도달하며, 로그 인자(logarithmic factor)를 제외하면 최적의 스팬 예측기와 일치함을 보여줍니다. 또한 우리는 (이름에 포함된 하강(descent) 전제에도 불구하고) 이것이 실제로 extit{큰} 경험적 훈련 오차를 가진다는 것을 직접 확인합니다. 마지막으로, 훈련 미적합(training misfit)의 원인이 되는 피할 수 없는 방해 요소 성분이 예측기의 적대적 민감도(adversarial sensitivity) 또한 제어한다는 것을 보여줍니다.