Criticality and Saturation in Orthogonal Neural Networks

요약

본 논문은 오르토고널 가중치 초기화가 된 유한 너비 비선형 신경망의 안정성을 이론적으로 분석합니다. 저자들은 네트워크 통계에 대한 명시적인 레이어별 재귀 관계를 도출하고, 기존 i.i.d.-초기화 모델에 적용되던 Feynman 다이어그램을 확장하여 $1/ ext{width}$ 항까지 일반화했습니다. 이를 통해 오르토고널 초기화가 깊은 네트워크에서 안정성을 유지하는 이유를 수학적으로 설명하며, 이 이론적 결과를 수치 해석 및 몬테카를로 시뮬레이션으로 검증합니다.

핵심 포인트

• 오르토고널 가중치 초기화는 신경망의 성능 개선에 기여한다는 기존 지식을 확장하여 이론적 기반을 마련함.
• 네트워크 통계에 대한 명시적인 레이어별 재귀 관계를 오르토고널 초기화 경우에 성공적으로 유도함.
• 기존 i.i.d.-초기화 모델의 Feynman 다이어그램 분석을 확장하여 $1/ ext{width}$ 항까지 일반화함으로써 이론적 범위를 넓힘.
• 유도된 재귀식이 소멸 고정점을 가진 활성화 함수에서 관찰되는 안정성을 명시적으로 재현함을 증명함.