아선형 구조의 심층 신경망(Sublinearly Structured DNNs)은 합성 함수(Compositional Functions)에 대해

지난 10년 동안 심층 신경망 (DNNs)은 복잡한 머신러닝 (Machine-learning) 작업에서 놀라운 성공을 거두었으나, 그 성능의 이론적 토대는 여전히 불완전합니다. 통계적 관점에서 자연스러운 질문은 다음과 같습니다: DNNs가 고전적 모델에 필적하는 특징 학습 (Feature-learning) 및 예측 일관성 (Prediction consistency)을 달성할 수 있는가? 완전한 특성화는 미해결 상태이지만, 우리는 광범위한 하위 클래스에 대해 긍정적인 결과를 제공합니다. 우리는 계층적으로 합성된 타겟 함수 (Hierarchical compositional target functions)를 학습할 때, 입력/출력 차원 및 은닉 뉴런 (Hidden neurons)의 수가 샘플 크기에 따라 아선형적으로(Sublinearly) 증가하는 아선형 구조의 DNNs 아키텍처에 대한 특징 학습 일관성 보장을 확립합니다. 중요한 점은, 총 파라미터 수가 훈련 샘플 수를 초과하는 전통적인 "과잉 매개변수화 (Over-parameterized)" 영역에서도 이 일관성이 여전히 유지된다는 것입니다. 경험적으로, 아선형 구조의 DNNs는 예측 측면에서 넓은(Wide) DNNs와 대등하거나 이를 능가합니다. 구조적 감사 (Structural audit)를 통해 AlexNet, VGGNet, ResNet, GoogLeNet을 포함하여 널리 사용되는 합성곱 신경망 (CNNs)이 이미지 분류 벤치마크에서 아선형 구조를 가짐을 추가로 나타냅니다. 우리는 더 나아가 아선형 구조의 DNNs가 대규모 샘플 한계 (Large-sample limit)에서 계층적 합성 함수에 대해 보편적 근사 (Universal approximation)를 달성함을 증명합니다. 더욱이, 이미지는 본질적인 계층적, 합성적 구조를 나타냅니다. 종합하면, 이러한 결과들은 통계적 관점을 통해 왜 많은 대규모 딥러닝 모델들이 방대한 이미지 데이터셋에서 적절한 훈련을 거친 후 성공하는지를 설명해 줍니다.