Adam은 비매끄러운 비볼록 최적화(Nonsmooth Nonconvex Optimization)에서 수렴한다

Adam은 가장 널리 구현되고 영향력 있는 현대적 최적화 도구(Optimizer) 중 하나입니다. 왜 Adam은 실제 다양한 최적화 문제에서 효과적일까요? 이 질문은 지난 10년 동안 최적화 커뮤니티의 중심에 있었으며, Adam의 수렴 동작(Convergence behavior)을 이해하기 위한 상당한 양의 연구를 촉발했습니다. 그러나 기존 연구들은 주로 매끄러운 비볼록 최적화(Smooth nonconvex optimization)에서의 Adam 수렴 속도에 집중해 왔는데, 안타깝게도 이는 신경망 학습에서 발생하는 문제와 같이 많은 실제 문제들이 비매끄러운(Nonsmooth) 특성을 가진다는 점을 충분히 반영하지 못합니다. 따라서 이러한 연구들은 Adam의 인기와 경험적 성공을 완전히 설명할 수 없습니다. 최근, Online-to-Nonconvex Conversion이라 불리는 통찰력 있고 강력한 프레임워크가 비매끄러운 비볼록 최적화에 대한 Adam 분석의 새로운 길을 열었습니다. 불행히도, 이와 관련된 이전 연구들은 두 가지 공통적인 한계를 공유합니다. 첫째, 모든 연구가 원래 Adam 알고리즘에 포함된 중요한 편향 수정(Bias-correction) 항을 무시합니다. 둘째, 더 중요한 점은, 많은 연구가 클리핑(Clipping) 단계와 같이 Adam에서 사용되지 않는 추가적인 연산을 요구한다는 것입니다. 따라서 원래의 Adam 방법에 대한 수렴 보장(Convergence guarantee)은 여전히 불분명한 상태로 남아 있습니다. 본 연구에서는 편향 수정 단계를 포함하고 추가적인 알고리즘 수정이 없는 Adam의 고전적 형태(Classical form)에 대한 최초의 유한 시간 분석(Finite-time analysis)을 제시하며, 무작위로 스케일링된 학습률(Learning rate)이 비매끄러운 비볼록 최적화에 대해 $1/T^{rac{2}{13}}$의 수렴 속도를 보장함을 증명합니다. 또한, 우리의 결과는 실제 상황에 더 가까운 현대적인 헤비 테일 노이즈(Heavy-tailed noise) 환경에도 증명 가능하게 적용됩니다. 흥미롭게도, 우리의 이론은 최근의 경험적 연구들과 일치하는 파라미터 선택 $β_1=β_2$ 하에서 확립되었습니다.