딥러닝에서 헤세 행렬의 고윳값: 대칭성의 기원과 파괴

학습된 딥러닝 모델의 헤세 스펙트럼은 지속적인 패턴을 보입니다. 즉, 고윳값들이 0 근처의 큰 벌크(bulk)와 몇 개의 독립적인 아웃라이어(outlier)를 포함하는 뚜렷한 클러스터로 조직됩니다. 본 논문은 이러한 스펙트럼 현상에 대한 자연스러운 설명이 원래 설정이 주변의, 그렇지 않으면 숨겨진, 고도로 대칭적인 참조 상태로부터의 이탈로 이해될 때 나타남을 보여줍니다. 아키텍처 변경, 데이터 분포 변경, 또는 파라미터 메트릭 변경을 포함한 수정들은 헤세 행렬이 풍부한 불변성(invariances)을 보이는 근접한 참조 구성을 노출시키는데, 이는 가중치 대칭성으로는 설명되지 않는 것입니다. 그곳에서 대칭성은 스펙트럼에 대한 정확한 기술을 가능하게 하며, 높은 차원의 커널과 다중도(multiplicity)가 큰 고윳값들을 강제합니다. 원래 구성으로 돌아가는 것은 헤세 행렬의 대칭성을 깨뜨리고, 따라서 관찰되는 클러스터와 아웃라이어의 계층 구조를 만들어냅니다. 이 프레임워크는 어느 정도 일반화된 방식으로 개발되었으며, 3개 레이어 ReLU 네트워크에 대한 상세 분석과 컨볼루션(convolutional), 그래프, 트랜스포머 모델뿐만 아니라 NTK에도 응용됩니다. 동일한 메커니즘이 레이어별 헤세 행렬과 가우스-뉴턴(Gauss-Newton) 행렬에서도 유사한 스펙트럼 구조를 생성하는 것으로 추가적으로 보여집니다.