When and Why SignSGD Outperforms SGD: A Theoretical Study Based on

요약

본 논문은 대규모 모델 훈련에서 주목받는 SignSGD와 같은 시그널 기반 최적화 알고리즘이 왜 그리고 언제 표준 SGD보다 우수한 성능을 보이는지에 대한 이론적 분석을 제시합니다. 기존의 표준 설정(smoothness, finite variance)에서는 SGD가 이미 minimax optimal하여 시그널 기반 방법의 개선 여지가 없다는 한계가 있었습니다. 이를 극복하기 위해 $\ell_1$-norm stationarity, $\ell_ ext{fty}$-smoothness, 그리고 separable noise 모델을 도입한 새로운 문제 기하학 하에서 SignSGD의 이론적 우위를 증명했습니다.

핵심 포인트

• SignSGD와 같은 시그널 기반 최적화 알고리즘의 성능 향상에 대한 이론적 근거를 제시함.
• 표준 설정(smoothness, finite variance)에서는 SGD가 이미 최적이지만, $\ell_1$-norm stationarity 및 separable noise 모델을 사용하면 SignSGD가 우위를 점할 수 있음을 보임.
• SignSGD는 특히 sparse noise 환경에서 문제 차원 $d$에 대해 복잡성을 효과적으로 줄이는 것을 수학적으로 증명함.
• 이론적 분석 결과를 124M 파라미터 GPT-2 모델의 실제 사전 학습 과정에 적용하여, SignSGD가 더 빠른 수렴을 예측할 수 있음을 입증함.