Edge Flow: 안정성 경계(Edge of Stability)에서의 경사 하강법을 위한 다루기 쉽고 예측 가능한 연속 시간 모델

딥러닝에서의 경사 하강법 (Gradient descent)은 안정성 경계 (Edge of Stability, EoS)에서 작동할 수 있습니다. 이는 손실 헤시안 (loss Hessian)의 최대 고유값 (largest eigenvalue)이 안정성 임계값인 $2/η$ (여기서 $η$는 학습률 (learning rate)) 근처에서 머무는 영역을 의미합니다. 경사 흐름 (gradient flow) 및 하강 보조정리 (descent lemma)와 같은 고전적인 분석 도구들은 이 영역에 적용되지 않으며, 이는 EoS에서 유효한 연속 시간 모델 (continuous-time model) 탐색의 동기가 됩니다. 본 연구에서는 EoS에서의 경사 하강법 역학 (gradient descent dynamics)에 대해 다루기 쉽고, 충실하며, 예측 가능한 모델을 제공하는 세 개의 결합된 상미분 방정식 (ordinary differential equations) 시스템인 Edge Flow를 제안합니다. Edge Flow는 역학을 중심 (center), 진동 방향 (oscillation direction), 그리고 진동 크기 (oscillation magnitude)로 분해합니다. 중심은 대칭화된 손실 (symmetrized loss)에 대한 수정된 경사 흐름 (gradient flow)을 따릅니다. 방향은 레일리 몫 (Rayleigh quotient) 역학을 통해 헤시안 (Hessian)의 최상위 고유벡터 (top eigenvector)를 추적합니다. 크기는 날카로움 (sharpness)이 임계값 $2/η$를 초과하는지 또는 그 미만으로 떨어지는지에 따라 지수적으로 증가하거나 감소합니다. 결정적으로, 날카로움의 안정화 (sharpness stabilization)는 자기 안정화 피드백 루프 (self-stabilization feedback loop)를 통한 결합된 역학으로부터 나타납니다. Edge Flow를 이산화 (discretizing)하는 데에는 각 반복 (iteration)마다 단 두 번의 경사도 평가 (gradient evaluations)와 한 번의 헤시안-벡터 곱 (Hessian--vector product)만이 필요합니다. 우리는 실험적으로 Edge Flow가 이전에 제안된 연속 시간 EoS 모델들만큼이나 경사 하강법의 역학을 충실하게 추적할 뿐만 아니라, 추가적으로 EoS의 시작점에서 발생하는 날카로움의 진동 (oscillation of the sharpness)을 해결하며, 이 영역에서의 불안정성 (instabilities)을 이해하고 완화하기 위한 원칙적인 프레임워크를 제공함을 입증합니다.