고차원 2단계 최적화에서의 외부 모멘텀 재시작 (Outer-Momentum Restarting)

DiLoCo와 같은 통신 효율적인 분산 최적화기 (Distributed Optimizers)는 워커 (Worker)들이 외부 모멘텀 최적화기 (Outer Momentum Optimizer)와 진행 상황을 집계하기 전에 많은 수의 로컬 업데이트 (Local Updates)를 수행하도록 함으로써 동기화 비용을 줄입니다. 최근 이론에 따르면, 외부 최적화기는 내부 최적화 루프 (Inner Optimization Loop)에 의해 유도된 유효 스펙트럼 (Effective Spectrum)에 작용하며, 외부 모멘텀의 선택이 통신 라운드 (Communication Rounds) 전반에 걸쳐 로컬 업데이트의 진행 상황이 어떻게 축적되는지를 제어한다고 제안되었습니다. 본 연구에서는 이러한 외부 메모리 (Outer Memory)를 제어하기 위한 간단한 보완 메커니즘으로서 외부 모멘텀의 주기적 재시작 (Periodic Restarting)을 연구합니다. 예측 공간 잔차 (Prediction-space Residuals)가 경험적 NTK (Empirical NTK) 하에서 진화하는 선형화된 제곱 손실 모델 (Linearized Squared-loss Model)에서, 우리는 모드별 재시작 수축 (Mode-wise Restart Contraction)을 도출하여, 재설정 (Resets)이 내부 루프의 진행 상황을 보존하면서도 오래된 모멘텀 (Stale Momentum)을 폐기함으로써 위상 상쇄 (Phase Cancellation)를 활용함을 보여줍니다. 토이 실험 (Toy Experiments)은 예측된 수축 동작을 검증하며, 언어 모델 사전 학습 (Language-model Pretraining) 실험은 주기적 재시작이 통신 주기 전반에 걸쳐 외부 학습률 (Outer Learning Rates) 및 모멘텀 값의 안정적인 범위를 넓힌다는 것을 보여줍니다.