안정성의 경계(Edge of Stability)에서의 경사 하강법을 위한 분기 이론(Bifurcation Theory) 프레임워크

경사 하강법 (Gradient Descent)이 고전적인 수렴 임계값을 초과하는 날카로움 (Sharpness)을 가지고 작동하면서도, 긴 시간 척도에 걸쳐 손실 (Loss)이 감소하는 현상인 안정성의 경계 (Edge of Stability, EoS) 현상은 현대 딥러닝 (Deep Learning)에서 도처에 존재하지만, 실제적인 설정에서는 여전히 이해가 부족한 상태로 남아 있습니다. 이전의 엄밀한 분석들은 주로 특정 구조적 형태를 가진 스칼라 (Scalar) 또는 저차원 손실 (Low-dimensional losses)에 국한되어 왔습니다. 본 연구에서 우리는 과매개변수화된 신경망 (Overparameterized neural networks)에 직접 적용 가능한, 안정성의 경계에서의 경사 하강법을 위한 분기 이론 (Bifurcation theory) 프레임워크를 개발합니다. 훈련 역학 (Training dynamics)을 최소화자 매니폴드 (Manifold of minimizers)에 수직인 성분과 접하는 성분으로 분해함으로써, 우리는 안정적인 EoS 훈련이 첫 번째 리아푸노프 계수 (First Lyapunov coefficient)의 부호에 의해 지배되는 수직 방향의 플립 분기 (Flip bifurcation)로부터 발생하며, 접하는 역학 (Tangent dynamics)은 날카로움이 감소하는 영역으로 표류한다는 것을 보여줍니다. 손실 지형 (Loss landscape)에 대한 완만한 스펙트럼 및 기하학적 가정 하에, 우리는 EoS 임계값에서 훈련할 때 최소화 매니폴드 (Minimizing manifold)로의 수렴을 증명합니다. 파생 결과로서, 우리는 이전의 결과들을 복구하고 통합합니다. 즉, Gan (2026)의 곱-안정성 조건 (Product-stability condition)이 우리 프레임워크의 한 사례임을 보여줍니다.