심층 신경망에서의 점별 일반화 (Pointwise Generalization)

우리는 완전 연결 네트워크 (fully connected networks)를 위한 점별 일반화 이론 (pointwise generalization theory)을 구축함으로써, 심층 신경망 (deep neural networks)이 왜 일반화되는가라는 근본적인 질문을 다룹니다. 이 프레임워크는 풍부한 비선형 특징 학습 (nonlinear feature-learning) 영역을 규명하는 데 있어 오랫동안 존재했던 장벽들을 해결하며, 표현 학습 (representation learning)을 위한 새로운 통계적 토대를 구축합니다. 학습된 각 모델에 대해, 우리는 레이어 전반에 걸쳐 학습된 특징 표현 (feature representations)의 고윳값 (eigenvalues)으로부터 유도된 점별 리만 차원 (pointwise Riemannian Dimension)을 통해 가설 (hypothesis)을 규명합니다. 이는 가설 의존적이고 표현 인지적인 (representation-aware) 일반화 경계 (generalization bounds)를 도출하기 위한 원칙적인 프레임워크를 확립합니다. 이러한 경계는 모델 크기, 노름의 곱 (products of norms), 그리고 무한 폭 선형화 (infinite-width linearizations)에 기반한 접근 방식보다 체계적으로 업그레이드된 것이며, 이론과 실험 모두에서 수십 배 더 타이트한 (tighter) 보장을 제공합니다. 분석적으로, 우리는 심층 네트워크의 다루기 쉬움 (tractability)을 설명하는 구조적 특성과 수학적 원리를 식별합니다. 경험적으로, 점별 리만 차원은 상당한 특징 압축 (feature compression)을 보여주며, 과잉 매개변수화 (over-parameterization)가 증가함에 따라 감소하고, 최적화 도구 (optimizers)의 암묵적 편향 (implicit bias)을 포착합니다. 종합하면, 우리의 결과는 심층 네트워크가 실제 영역에서 수학적으로 다루기 쉬우며, 그 일반화가 점별 특징 스펙트럼 인지 복잡도 (pointwise, feature-spectrum-aware complexity)에 의해 명확하게 설명됨을 나타냅니다.