Fisher-기하학적 날카로움(Fisher-Geometric Sharpness)과 평탄한 최솟값(Flat Minima)을 향한 SGD의 암묵적

딥러닝에서 널리 퍼진 직관은 확률적 경사 하강법 (SGD)이 암묵적으로 평탄한 최솟값 (flat minima)을 선호하며, 평탄한 최솟값이 더 나은 일반화 (generalization) 성능을 보인다는 것이지만, 손실 헤시안 (loss Hessian)의 트레이스 (trace)나 최대 고유값 (maximum eigenvalue)과 같은 표준 유클리드 평탄도 측정 방식은 네트워크 함수를 보존하는 재매개변수화 (reparametrizations) 하에서 불변 (invariant)하지 않으며, 이는 이러한 서사의 이론적 토대를 약화시킵니다. 본 연구에서는 Fisher 정보 행렬 (Fisher Information Matrix, FIM)에 의해 유도되는 통계적 매니폴드 (statistical manifold)의 리만 기하학 (Riemannian geometry)에 평탄도를 근거를 둠으로써 이 문제를 해결합니다. 우리는 리만 날카로움 (Riemannian sharpness)을 수학적으로 정의하고, 이것이 함수를 보존하는 매끄러운 재매개변수화 하에서 불변함을 증명하며, 이는 논문 "Sharp minima can generalize for deep nets"에서 Dinh 등이 제기한 비판을 직접적으로 해결합니다. 우리는 이러한 불변성이 실제 FIM의 속성임을 주목합니다. 즉, 실제 (그리고 아래의 모든 실험에서) 사용되는 대각 경험적 추정치 (diagonal empirical estimator)는 불변성을 근사적으로만 상속받으며, 임의의 재매개변수화 하에서의 정확한 불변성을 위해서는 K-FAC와 같은 구조화된 추정치가 필요합니다. 우리는 미니 배치 SGD의 그래디언트 노이즈 (gradient noise)가 FIM에 비례하는 공분산 구조 (covariance structure)를 갖도록 공식화하고, 결과적으로 발생하는 확률 미분 방정식 (stochastic differential equation)의 정상 분포 (stationary distribution)를 도출한 다음, 확률 질량 (probability mass)이 리만-평탄 최솟값 (Riemannian-flat minima)에 지수적으로 집중됨을 보여줍니다. SR에 의해 명시적으로 제어되는 PAC-Bayes 일반화 경계 (generalization bound)는 이 기하학적 편향을 테스트 성능과 공식적으로 연결합니다. MNIST 및 CIFAR-10에 대한 실험을 통해 SR이 유클리드 날카로움 (Euclidean sharpness)이 하지 못하는 방식으로 일반화를 신뢰성 있게 추적하며, $η/B$에 따른 스케일링이 이론적 예측과 일치함을 확인했습니다. 이러한 결과들을 종합하면, 왜 평탄한 최솟값이 일반화되는지에 대한 엄밀하고 재매개변수화 불변적인 설명을 제공합니다.