고전적 모멘텀 가속을 이용한 미니 배치 SGD에서의 완벽한 병렬화

Polyak의 heavy ball과 같은 고전적 모멘텀 (Classical Momentum) 기법을 사용하여 확률적 경사 하강법 (Stochastic Gradient Methods)을 가속화하는 것은 대규모 머신러닝 모델을 학습시킬 때, 특히 대규모 미니 배치 (Mini-batch) 계산의 하드웨어 가속과 결합될 때 매우 성공적임이 입증되었습니다. 그러나 확률적 미니 배치 최적화 (Stochastic Mini-batch Optimization)에 미치는 고전적 모멘텀의 효과는 이론적으로 잘 이해되지 않았으며, 이전 연구들은 강력한 노이즈 가정과 극도로 큰 미니 배치를 요구했습니다. 본 연구에서는 randomized Kaczmarz 및 좌표 하강법 (Coordinate Descent)과 같은 고전적 방법들을 포함하며, 딥러닝 역학 (Deep Learning Dynamics) 연구를 위한 대중적인 추상화 모델인 보간 영역 (Interpolation Regime) 내 이차 함수 (Quadratics) 최적화를 위한 확률적 모멘텀 가속의 일반 이론을 개발합니다. 우리의 프레임워크는 heavy ball과 Nesterov 스타일의 모멘텀을 모두 포괄하며, 임의의 미니 배치 크기를 허용하고, 확률적 노이즈 (Stochastic Noise)에 대해 최소한의 가정만을 합니다. 특히, 우리는 고전적 모멘텀을 통한 가속이 (자연스러운 포화 지점까지) 경사 미니 배치 크기 (Gradient Mini-batch Size)에 직접적으로 비례한다는 것을 보여줌으로써, 미니 배치 계산의 완벽한 병렬화 (Perfect Parallelization)를 가능하게 합니다. 또한 우리의 이론은 모멘텀 파라미터 (Momentum Parameter)에 대한 간단한 선택지를 제공하며, 이는 경험적으로 효과적임이 입증되었습니다.