방향 일관성(Directional Consistency)을 보완적인 최적화 신호로 활용한 GONO 프레임워크

요약

본 논문은 딥러닝 최적화 과정에서 방향성 정렬(directional consistency)과 손실 수렴이 분리될 수 있다는 현상을 발견하고, 이를 활용한 새로운 옵티마이저 GONO를 제안합니다. 기존 옵티마이저들은 기울기 크기에만 의존하여 평탄 지대나 안장점 등을 구분하는 데 한계가 있습니다. GONO는 연속적인 기울기 방향의 코사인 유사도($cc_t$)를 측정하여, 방향성이 일관될 때는 모멘텀을 증폭시키고 진동할 때는 억제함으로써 최적화 성능을 개선합니다.

핵심 포인트

• 딥러닝 최적화에서 '방향성 정렬'과 '손실 수렴'은 독립적인 현상일 수 있다.
• 기존 옵티마이저(Adam, SGD 등)는 기울기의 크기에만 의존하여 방향성의 시간적 일관성을 활용하지 못한다.
• GONO(Gradient-Oriented Norm-Adaptive Optimizer)는 연속 기울기 코사인 유사도($cc_t$)를 기반으로 모멘텀 계수 $eta_1$을 적응적으로 조절하는 옵티마이저이다.
• GONO는 Adam과 동일한 $O(1/ ext{sqrt}(T))$ 수렴 속도를 보장하며, 방향성 신호가 불충분할 때는 Adam으로 작동한다.