Hessian 고유벡터 변위 및 국소화를 통한 옵티마이저 의존적 훈련 역학의 특성 분석

Hessian 스펙트럼 특성(Hessian spectral properties)은 신경망(neural-network) 훈련을 분석하는 표준적인 도구이며, 고유값(eigenvalues)은 날카로움(sharpness), 일반화(generalization), 그리고 최적화 역학(optimization dynamics)과 연결됩니다. 고유값은 곡률의 크기(curvature magnitude)를 정량화하는 반면, 고유벡터(eigenvectors)는 어떤 파라미터가 해당 곡률을 생성하는지 식별합니다. 본 연구에서는 주요 Hessian 고유벡터가 훈련 중에 어떻게 진화하는지, 그리고 이것이 학습 궤적(learning trajectories)에 어떤 영향을 미치는지 연구합니다. 우리는 분류 문제(classification problem)에서 다층 퍼셉트론(multilayer perceptrons)의 훈련 역학을 추적하며, 두 가지 상호 보완적인 통계량을 통해 고유벡터 역학을 측정합니다: (i) 유리계(glassy systems) 분석에서 영감을 얻은 시간에 따른 변위(displacement), 그리고 (ii) 역참여비(inverse participation ratio)를 통한 국소화(localization). 이러한 지표들을 아키텍처에 의해 유도된 Hessian의 무작위 귀무 모델(random null model)과 비교합니다. 우리의 결과는 명확한 옵티마이저 의존적(optimizer-dependent) 동작을 보여줍니다. SGD는 점진적으로 더 안정적인 주요 곡률 방향(leading curvature directions)을 이끄는 반면, Adam은 훈련 전반에 걸쳐 실질적으로 더 강력한 고유벡터 재구성(reorganization)을 보입니다. 우리는 또한 Adam 환경에서 소수의 파라미터 하위 집합이 주요 곡률 방향에 불균형적으로 기여하는 국소화 현상을 관찰합니다. 이러한 결과는 Hessian 고유벡터 역학이 옵티마이저 동작의 핵심적인 차이와 그로 인한 훈련 궤적을 포착한다는 것을 시사합니다.