왜 심층 신경망에서 기하학적 연속성이 나타나는가: 잔여 연결과 회전 대칭성 파괴

요약

본 기사는 심층 신경망의 가중치 행렬이 가지는 '기하학적 연속성' 현상의 원인을 탐구합니다. 연구 결과, 이 연속성은 잔여 연결(residual connections)을 통한 층 간 기울기 일관성과 대칭성을 파괴하는 비선형성(symmetry-breaking nonlinearities)의 조합에 의해 발생함을 밝혀냈습니다. 특히, 활성화 함수와 정규화가 각각 주된 특이값 방향과 여러 방향으로 연속성을 집중시키거나 분산시키는 등 서로 다른 역할을 수행하며, 트랜스포머 구조에서 각 투영 메커니즘(Q, K, Gate, Up vs O, Down)의 역할 차이를 분석했습니다.

핵심 포인트

• 심층 신경망 가중치 행렬은 인접 층 간에 주된 특이값 벡터가 유사한 방향을 보이는 '기하학적 연속성'을 나타낸다.
• 잔여 연결은 층 전체로 기울기 일관성을 생성하여 가중치 업데이트를 정렬시키는 역할을 한다.
• 대칭성을 파괴하는 비선형성은 회전 드리프트를 방지하고 모든 층이 공유된 좌표 프레임에 구속되도록 한다.
• 활성화 함수는 주된 특이값 방향의 연속성에 집중시키고, 정규화는 여러 방향으로 분산시키는 등 역할이 다르다.
• 트랜스포머 구조에서 Q, K, Gate, Up은 입력 공간의 연속성을 발달시키지만, O와 Down은 출력 공간의 연속성을 담당한다.