심층 신경망에서의 점별 일반화 (Pointwise Generalization)

요약

본 연구는 심층 신경망의 일반화 원리를 설명하기 위해 점별 일반화 이론(pointwise generalization theory)을 구축합니다. 레이어별 특징 표현의 고윳값을 활용한 점별 리만 차원(pointwise Riemannian Dimension)을 통해, 기존 방식보다 훨씬 정교하고 타이트한 일반화 경계를 도출합니다.

핵심 포인트

• 점별 리만 차원을 활용하여 표현 학습(representation learning)을 위한 새로운 통계적 토대 마련
• 기존의 모델 크기나 노름 기반 방식보다 수십 배 더 정밀한(tighter) 일반화 경계 제공
• 과잉 매개변수화가 증가할수록 점별 리만 차원이 감소하며 특징 압축이 일어남을 확인
• 심층 네트워크의 일반화가 점별 특징 스펙트럼 인지 복잡도에 의해 설명됨을 입증