클러스터 구조 특징(Cluster-Structured Features) 상에서의 얕은 신경망(Shallow Neural Networks)을

고차원 환경에서 딥러닝(deep learning)의 성공은 종종 실제 데이터에 존재하는 저차원 구조(low-dimensional structure) 덕분인 것으로 여겨집니다. 표준적인 이론 모델들은 일반적으로 이러한 구조가 타겟 함수(target function)에 존재하여 구조화되지 않은 입력을 저차원 부분 공간(low-dimensional subspace)으로 투영한다고 가정하지만, 이미지, 텍스트 또는 유전체 서열(genomic sequences)과 같은 데이터는 입력 공간 자체 내에서 강력한 공간적 상관관계(spatial correlations)를 나타냅니다. 본 논문에서는 이러한 상관관계가 얕은 신경망(shallow neural networks)에서의 경사 하강법(gradient descent)을 이용한 학습의 샘플 복잡도(sample complexity)에 어떤 영향을 미치는지 연구하기 위한 다루기 쉬운 모델(tractable model)을 제안합니다. 구체적으로, 우리는 적은 수의 잠재적 불리언 변수(latent Boolean variables)에 의존하는 타겟과, 클러스터(clusters)로 그룹화되어 잠재 변수와 상관관계가 있는 입력 특징(input features)을 고려합니다. 식별 가능성 가정(identifiability assumption) 하에, 우리는 층별 경사 하강법(layerwise gradient-descent) 변형 모델의 경우 샘플 복잡도가 은닉 변수(hidden variables)의 수에 따라 확장되며, 신호 대 잡음비(signal-to-noise ratio)가 충분히 높을 때 로그 항(logarithmic terms)을 제외하고는 입력 차원(input dimension)과 무관함을 보여줍니다. 우리는 합성 데이터(synthetic data)와 실제 데이터(real data) 모두에서 우리의 이론적 발견을 경험적으로 테스트합니다.