동차 신경망 (Homogeneous Neural Networks) 내 Mirror Flow의 암묵적 편향: 희소 및 밀집 특징 학습

우리는 동차 활성화 함수 (Homogeneous activation functions)를 가진 심층 신경망 (Deep neural networks)에서 mirror flow에 의해 도달하는 최대 마진 (Max-margin) 솔루션을 연구합니다. 그래디언트 흐름 (Gradient flow)에 관한 고전적인 결과들을 확장하여, 우리는 볼록 쌍대성 (Convex duality)으로부터 mirror flow를 위한 새로운 균형 방정식 (Balance equation)을 도출하며, 이를 통해 유도된 마진을 결정하는 지평 함수 (Horizon function)의 특성을 규명합니다. 나아가 우리는 수렴 속도 (Convergence rates) 및 노름 성장 추정치 (Norm growth estimates)와 함께 최대 마진 특성화를 확립합니다. 마지막으로, 우리는 합성 데이터셋 (Synthetic datasets)과 표준 비전 작업 (Standard vision tasks)에 대한 실험을 통해 우리의 이론을 뒷받침합니다. 구체적으로, 우리는 다음을 보여줍니다: (1) 서로 다른 비동차 mirror map (Non-homogeneous mirror maps)이 동일한 최대 마진 솔루션을 유도할 수 있음; (2) 수렴이 매우 느릴 수 있으며, 여기에는 지수적으로 느린 영역 (Exponentially slow regimes)이 포함됨; (3) 고려된 모든 mirror map이 특징 학습 (Feature learning)을 보여주지만, 희소한 (Sparse) 뉴런 활성화부터 밀집된 (Dense) 뉴런 활성화에 이르기까지 현저히 다른 표현 (Representations)을 생성할 수 있음. 종합적으로, 이러한 결과들은 동차 신경망에서의 희소 및 밀집 특징 학습에 대한 통합된 관점을 제공하며, mirror map이 최적화 역학 (Optimization dynamics)과 학습된 분류기 (Classifiers)의 기하학적 구조를 어떻게 형성하는지를 강조합니다.