범위 페널티 (Range Penalization): 연합 학습 (Federated Learning)에서의 응용과 이론적 통찰

본 논문은 선형 체계적 구성 요소 (linear systematic components)를 가진 연합 학습 (Federated Learning)을 위한 범위 정규화 (range regularization)를 소개하며, 이를 통해 통계적 정확도 (statistical accuracy)를 향상시키고 양자화 (quantization), 코딩 (coding) 및 자원 효율성 (resource efficiency)에 도움이 되는 클라이언트 간 규칙성 (cross-client regularity)을 유도합니다. 우리의 접근 방식은 서로 다른 클라이언트 간에 가중치를 공유하는 특징 (features)을 식별하고, 개인화된 특징 (personalized features)의 가중치가 극단적인 값에 위치할 때 이를 적응적으로 클러스터링하며, 이 과정을 극점 클러스터링 (polar clustering)이라고 명명합니다. 관련 추정량 (estimators)에 대한 이론적 분석은 정규화 항 (regularizer)의 준노름 (seminorm) 특성과 비분해성 (non-decomposability)으로 인해 상당한 어려움이 따릅니다. 우리는 통계적 정확도 (statistical accuracy) 및 충실한 패턴 복구 (faithful pattern recovery)의 비점근적 분석 (nonasymptotic analysis)을 위한 새로운 증명 기법을 개발합니다. 또한, 반복 복잡도 (iteration complexity)를 줄이기 위해 다양한 수준의 국소 강볼록성 (local strong convexity)을 활용하는 빠른 최적화 알고리즘을 제안합니다. 실험을 통해 제안된 접근 방식의 효능과 효율성을 입증합니다.