신경 확장(Neural Expansion): 딥 신경망의 일반화에 대한 통합 메커니즘

요약

본 논문은 딥 신경망의 일반화 성능이 어떻게 발생하는지 설명하기 위해 'Neural Expansion'이라는 통합 기하학적 프레임워크를 제안합니다. 이 방법은 Generalization Intervals (GIs)를 사용하여, 모델 예측이 안정적인 방향별 영역을 정량화합니다. 연구 결과, 훈련 과정이 Jacobian 특이값(singular values)이 낮은 방향으로 광선 커버리지를 점진적으로 확장하는 메커니즘을 밝혀냈습니다.

핵심 포인트

• Neural Expansion은 일반화를 특징짓는 통합 기하학적 프레임워크입니다.
• Generalization Intervals (GIs)를 사용하여 예측 안정 영역을 정량화합니다.
• 훈련은 Jacobian 특이값 낮은 방향으로 광선 커버리지를 확장시킵니다.
• 기존 딥러닝 이론에 기계론적 기반을 제공하여 일반화를 설명합니다.