중심화되지 않은 SGD 환경에서의 무거운 꼬리 노이즈: 최적 수렴 속도와 그래디언트 클리핑의 역할

무거운 꼬리 노이즈(Heavy-tailed noise)는 현대 머신러닝에서 광범위하게 관찰되어 왔으며, 이는 그래디언트 클리핑(gradient clipping)이나 정규화(normalization)와 같은 방법론을 사용하도록 동기를 부여합니다. 이러한 방법들은 중앙 집중식 환경(centralized settings)에서는 잘 이해되고 있지만, 로컬 그래디언트에 비선형성(nonlinearity)을 적용하는 것이 최적화와 합의(consensus) 모두에 영향을 미치는 분산된 환경(decentralized ones)에서는 알려진 바가 훨씬 적습니다. 최근 분산 비볼록 최적화(decentralized non-convex optimization)에 관한 연구들은 무거운 꼬리 노이즈 하에서 클리핑과 정규화를 모두 다루었지만, 클리핑은 최적이 아닌 수렴 속도를 보였고, 정규화는 수렴하기 위해 로컬 모멘텀(local momentum)이나 미니 배치(mini-batches)가 필요하다는 점을 보여주었습니다. 이는 다음과 같은 질문을 제기합니다: 비선형성을 사용하는 기준선 분산 방법이 무거운 꼬리 노이즈 하에서 최적의 수렴 속도를 달성할 수 있을까? 우리는 클리핑된 분산 SGD ($ t{DSGD}$)를 사용하여 이에 긍정적으로 답합니다. 유한 $p$차 모멘트 노이즈($p
otin (1,2]$)를 가진 부드러운 비볼록 비용(smooth non-convex costs)의 경우, 우리는 클리핑된 $ t{DSGD}$가 높은 확률과 기댓값 모두에서 순서적으로 최적인 속도를 달성함을 보여줍니다. 더욱이, 우리는 에이전트 수에 대한 선형적 가속(linear speed-up)을 확립했는데, 이는 우리의 지식으로는 클리핑을 사용하는 분산 방법에서는 아직 제시된 바가 없습니다. 핵심 기술 요소는 클리핑의 구조를 활용하여 합의 간극(consensus gap)에 대해 날카로운 분석을 수행함으로써 네트워크 효과를 고차항으로 격하시키는 것입니다. 우리의 결과는 분산 환경에서 클리핑과 정규화 사이에 중요한 차이점을 강조합니다: 정규화된 $ t{DSGD}$는 수렴하지 못할 수 있는 반면, 클리핑은 크기 정보(magnitude information)를 유지하여 $ t{DSGD}$가 수렴하고 순서적으로 최적임을 가능하게 합니다. 수치 실험들은 우리의 이론을 검증합니다.