고전적 모멘텀 가속을 이용한 미니 배치 SGD에서의 완벽한 병렬화

원문 발행 2026. 05. 19. 01:18원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 연구는 미니 배치 SGD에서 고전적 모멘텀(Classical Momentum)이 최적화에 미치는 영향을 이론적으로 규명합니다. 보간 영역 내 이차 함수 최적화 프레임워크를 통해 heavy ball 및 Nesterov 스타일의 모멘텀을 분석하며, 미니 배치 크기에 비례하는 가속 효과를 입증하여 하드웨어의 완벽한 병렬화를 가능하게 합니다.

핵심 포인트

고전적 모멘텀 기법이 미니 배치 크기에 직접적으로 비례하여 가속됨을 이론적으로 증명
미니 배치 계산의 완벽한 병렬화(Perfect Parallelization)를 지원하는 프레임워크 개발
강력한 노이즈 가정 없이도 임의의 미니 배치 크기에 적용 가능한 일반 이론 제시
경험적으로 효과적인 모멘텀 파라미터 선택 가이드라인 제공

Polyak의 heavy ball과 같은 고전적 모멘텀 (Classical Momentum) 기법을 사용하여 확률적 경사 하강법 (Stochastic Gradient Methods)을 가속화하는 것은 대규모 머신러닝 모델을 학습시킬 때, 특히 대규모 미니 배치 (Mini-batch) 계산의 하드웨어 가속과 결합될 때 매우 성공적임이 입증되었습니다. 그러나 확률적 미니 배치 최적화 (Stochastic Mini-batch Optimization)에 미치는 고전적 모멘텀의 효과는 이론적으로 잘 이해되지 않았으며, 이전 연구들은 강력한 노이즈 가정과 극도로 큰 미니 배치를 요구했습니다. 본 연구에서는 randomized Kaczmarz 및 좌표 하강법 (Coordinate Descent)과 같은 고전적 방법들을 포함하며, 딥러닝 역학 (Deep Learning Dynamics) 연구를 위한 대중적인 추상화 모델인 보간 영역 (Interpolation Regime) 내 이차 함수 (Quadratics) 최적화를 위한 확률적 모멘텀 가속의 일반 이론을 개발합니다. 우리의 프레임워크는 heavy ball과 Nesterov 스타일의 모멘텀을 모두 포괄하며, 임의의 미니 배치 크기를 허용하고, 확률적 노이즈 (Stochastic Noise)에 대해 최소한의 가정만을 합니다. 특히, 우리는 고전적 모멘텀을 통한 가속이 (자연스러운 포화 지점까지) 경사 미니 배치 크기 (Gradient Mini-batch Size)에 직접적으로 비례한다는 것을 보여줌으로써, 미니 배치 계산의 완벽한 병렬화 (Perfect Parallelization)를 가능하게 합니다. 또한 우리의 이론은 모멘텀 파라미터 (Momentum Parameter)에 대한 간단한 선택지를 제공하며, 이는 경험적으로 효과적임이 입증되었습니다.

AI 자동 생성 콘텐츠

원문 바로가기

고전적 모멘텀 가속을 이용한 미니 배치 SGD에서의 완벽한 병렬화

요약

핵심 포인트

댓글