확률적 모멘텀 방법론의 연산 효율성 및 직렬 실행 시간 간의 트레이드오프

요약

확률적 모멘텀 방법론인 Heavy Ball(HB)과 ASGD의 연산 효율성(CE)과 직렬 실행 시간 간의 트레이드오프를 분석한 연구입니다. 가우시안 공변량을 가진 선형 회귀 모델을 통해 배치 크기 변화에 따른 각 알고리즘의 성능 하한을 증명했습니다.

핵심 포인트

• HB는 SGD보다 CE 프런티어를 개선하지 못하지만, 더 큰 배치에서 직렬 실행 시간을 단축할 수 있음
• HB의 효율적 배치 범위는 SGD 임계 배치 크기보다 $\sqrt{\kappa}$배만큼 더 클 수 있음
• ASGD는 멱법칙 스펙트럼에서 작은 배치일 때 CE 이점이 있으나, 배치 증가 시 실행 시간과 트레이드오프 발생
• 합성 선형 회귀 실험을 통해 이론적 예측과 질적 영역을 검증함