왜 심층 신경망에서 기하학적 연속성이 나타나는가: 잔여 연결과 회전 대칭성 파괴

심층 네트워크의 가중치 행렬은 기하학적 연속성을 보인다는 것이 관찰됨 -- 인접한 층들의 주된 특이값 벡터 (principal singular vectors) 는 유사한 방향을 향한다. 이러한 속성은 광범위하게 관찰되어 왔으나, 그 기원은 아직 설명되지 않았다. 토이 MLPs 와 작은 트랜스포머에 대한 실험을 통해 두 가지 메커니즘을 식별함: 잔여 연결 (residual connections) 은 층 간 기울기 일관성 (cross-layer gradient coherence) 을 생성하여 가중치 업데이트를 층 전체로 정렬시키고, 대칭성을 파괴하는 비선형성 (symmetry-breaking nonlinearities) 은 모든 층이 공유된 좌표 프레임에 구속되도록 하여, 가중치 구조를 불안정하게 할 수 있는 회전 드리프트 (rotation drift) 를 방지한다.至关重要的是, 비선형적이지만 회전을 보존하는 활성화 함수는 연속성을 유지하지 못함 -- 이는 대칭성 파괴가 아닌 비선형성 자체의 역할임을 분리해냄. 활성화와 정규화는 서로 다른 역할을 수행함: 활성화는 주된 특이값 방향 (leading singular direction) 에 연속성을 집중시키고, 정규화는 여러 방향으로 분산시킴. 트랜스포머에서 연속성은 투영에 특화됨: Q, K, Gate, Up (잔류 스트림을 읽음) 은 입력 공간 ($\mathbf{v}_1$) 의 연속성을 발달시키며, O 와 Down (그것을 씀) 은 출력 공간 ($\mathbf{u}_1$) 의 연속성을 발달시킴; V 만은 인접한 비선형성이 없어만 낮은 연속성을 발달시킴.