최소한의 오버헤드로 수렴 속도를 높이는 가속 경사 하강법

요약

본 논문은 딥러닝의 비볼록 최적화 문제를 해결하기 위해 국소 곡률을 활용하는 CT-AGD(Curvature-Tuned Accelerated Gradient Descent)를 제안합니다. CT-AGD는 유한 차분 몫을 사용하여 1차 최적화 방법을 가속화하며, 미니 배치 학습의 노이즈와 편향을 완화하는 휴리스틱을 포함합니다. 실험 결과, Adam과 유사한 오버헤드로 학습 에포크를 평균 33% 단축하면서도 기존 방식과 동일한 정확도를 달성했습니다.

핵심 포인트

• CT-AGD는 유한 차분 몫을 통해 국소 곡률을 포착하여 1차 최적화 방법을 가속화함
• 확률적 미니 배치 학습에서 발생하는 노이즈와 편향을 완화하는 휴리스틱 적용
• Adam과 유사한 수준의 낮은 저장 공간 및 계산 오버헤드 유지
• 기존 베이스라인 대비 평균 33%의 학습 에포크 감소 효과 입증