연합 선형 확률적 근사 (Federated Linear Stochastic Approximation)를 위한 가우시안 근사 및 멀티플라이어

원문 발행 2026. 05. 19. 19:08원문 언어 영어AI 한국어 번역arXiv cs.LG (Machine Learning) 원문 보기

요약

본 논문은 연합 선형 확률적 근사(Federated LSA)를 위한 Berry-Esseen 유형의 경계를 확립하여 연합 가우시안 근사를 제공합니다. 통신-연산 트레이드오프와 데이터 이질성을 고려하여 로컬 스텝 사이즈 및 업데이트 횟수가 수렴 속도에 미치는 영향을 정량화하며, 점근적 공분산 행렬 추정 없이도 유효한 온라인 멀티플라이어 부트스트랩 절차를 제안합니다.

핵심 포인트

연합 선형 확률적 근사(LSA)에 대한 최초의 연합 가우시안 근사 및 Berry-Esseen 경계 확립
통신-연산 트레이드오프와 데이터 이질성을 반영한 수렴 속도 정량화
상수 스텝 사이즈 및 감소 스텝 사이즈 영역 모두에 대한 이론적 결과 제시
점근적 공분산 행렬 추정 없이 마지막 반복(last iterate) 추론이 가능한 온라인 멀티플라이어 부트스트랩 개발

본 논문에서 우리는 연합 선형 확률적 근사 (Federated Linear Stochastic Approximation, LSA)에 대한 Berry-Esseen 유형의 경계 (bounds)를 확립합니다. 우리의 결과는 통신-연산 트레이드오프 (communication-computation trade-offs)와 이질성 인식 오차 항 (heterogeneity-aware error terms)을 명시적으로 포착하는 LSA를 위한 최초의 연합 가우시안 근사 (federated Gaussian approximations)를 제공하며, 로컬 스텝 사이즈 (local step size), 로컬 업데이트 횟수, 그리고 이질성 (heterogeneity)이 수렴 속도 (convergence rates)에 미치는 영향을 정량화합니다. 우리는 (i) 상수 스텝 사이즈 (constant step size) 영역과 (ii) 로컬 반복 횟수가 증가함에 따라 감소하는 스텝 사이즈 (decreasing step size) 영역 모두에 대한 결과를 제시하며, Bonnerjee et al. [2025]의 최근 속도를 특수한 경우로 복구합니다. 우리 결과의 주요 응용으로서, 우리는 마지막 반복 (last iterate)에 대한 추론을 위한 온라인 멀티플라이어 부트스트랩 (online multiplier bootstrap) 절차를 개발하며, 이는 점근적 공분산 행렬 (asymptotic covariance matrix)의 명시적인 추정을 피하고, 이 절차에 대한 비점근적 유효성 보장 (non-asymptotic validity guarantees)을 얻습니다.

AI 자동 생성 콘텐츠

원문 바로가기

연합 선형 확률적 근사 (Federated Linear Stochastic Approximation)를 위한 가우시안 근사 및 멀티플라이어

요약

핵심 포인트

댓글