헤비테일(heavy-tailed) 그래디언트 노이즈 및 통신 노이즈가 존재하는 연합 학습: 분산 감소 기반 알고리즘

연합 학습 (Federated learning, FL)은 데이터를 분산된 상태로 유지하며 프라이버시를 보호하는 동시에, 로컬 장치들이 공동으로 글로벌 모델을 학습할 수 있게 하는 신흥 분산 머신러닝 패러다임입니다. 본 논문에서는 헤비테일 (heavy-tailed) 그래디언트 노이즈와 통신 노이즈가 존재하는 환경에서의 FL을 위해 분산 감소 (variance-reduction) 기반 알고리즘인 VRA-FedSGD를 제안합니다. 이러한 노이즈들은 무선 네트워크 및 사물 인터넷 (Internet of Things, IoT) 배포 환경에서의 대규모 머신러닝에서 흔히 발생합니다. VRA-FedSGD는 헤비테일 그래디언트 노이즈를 완화하기 위해 모멘텀 분산 감소 (momentum variance reduction) 기술과 비선형 매핑 (nonlinear mapping)을 함께 사용하며, 헤비테일 통신 노이즈를 억제하기 위해 분산이 감소된 집계 (variance-reduced aggregation) 메커니즘을 사용합니다. 평균적인 의미 (In the mean sense)에서, VRA-FedSGD는 비볼록 (nonconvex) 목적 함수에 대해 ${\small\mathcal{O}\left(K^{-(p-1)/(2p-1)}\right)}$의 수렴 속도를 달성하며, 여기서 $p$는 헤비테일 노이즈의 꼬리 지수 (tail index)입니다. 거의 확실한 의미 (In the almost sure sense)에서, VRA-FedSGD는 강볼록 (strongly convex) 목적 함수에 대해 $\tilde{\mathcal{O}}\left(K^{-(1-1/(p-ε))}\right)$의 수렴 속도를 달성하며, 여기서 $ε$는 임의의 작은 상수입니다. 실제 데이터를 사용한 로지스틱 회귀 (logistic regression) 문제에 대한 시뮬레이션 실험을 통해 VRA-FedSGD의 효과를 검증합니다.