Criticality and Saturation in Orthogonal Neural Networks

오르того널 신경망에서 가중치 행렬을 i.i.d. 가우시안 성분 대신 오르토고널로 초기화하는 것이 훈련 성능을 개선할 수 있다는 것은 오랫동안 알려져 있습니다. 이 현상은 유한 너비 보정을 사용하여 분석할 수 있으며, 무한 너비 통계에 $1/ ext{width}$의 멱급수를 추가합니다. 특히 Day et al. 의 최근 경험적 결과에 따르면, 이 처리에서 나타나는 텐서는 큰 깊이에서 안정화되지만 i.i.d.-초기화 네트워크의 텐서는 그렇지 않습니다. 본 논문에서는 오르토고널 초기화의 경우 네트워크 통계의 유한 너비 확장에 나타나는 텐서에 대한 명시적인 레이어별 재귀 관계를 유도합니다. 또한 우리는 i.i.d.-경우에 해당되는 재귀식에 적용할 수 있는 최근 도입된 Feynman 다이어그램을 확장하여 $1/ ext{width}$의 모든 순서까지 유효함을 제공합니다. 마지막으로, 우리는 우리가 유도한 재귀식이 소멸 고정점을 가진 활성화 함수에서 관찰된 유한 너비 텐서의 안정성을 명시적으로 재현함을 보여줍니다. 따라서 이 작업은 오르토고널 가중치로 초기화된 유한 너비 비선형 네트워크의 안정성에 대한 이론적 설명을 제공하여 문헌에 오랫동안 존재했던 간극을 닫습니다. 우리는 수치해석적 결과 실험적으로 검증하여, 우리의 재귀 관계식과 그 분석적 큰 깊이 확장이 몬테카를로 추정치와 완벽하게 일치함을 보여줍니다.