차분 프라이버시가 적용된 연합 학습(Differentially Private Federated Learning)의 통계적 한계 및 효율적인

연합 학습 (Federated Learning)은 수많은 사용자 기기 또는 데이터베이스에 걸쳐 협력적으로 머신러닝 (ML) 및 인공지능 (AI) 모델을 학습시키기 위한 선도적인 프레임워크입니다. 본 연구에서는 차분 프라이버시 (Differentially Private, DP)가 적용된 연합 M 추정 (Federated M estimation)에 대하여 추정 정확도 (Estimation accuracy), 프라이버시 제약 조건 (Privacy constraints), 그리고 통신 비용 (Communication cost) 사이의 트레이드오프 (Trade-offs)를 연구합니다. 기존 문헌의 두 가지 표준적인 방법으로는 높은 연합 편향 (Federation bias)을 겪을 수 있는 FedAvg와 높은 통신 비용을 초래할 수 있는 FedSGD가 있습니다. 통신 비용을 줄이면서 정확도를 향상시키는 것을 목표로, 우리는 FedAvg 추정치에 의한 개선된 초기화 (Initialization)를 시작으로 FedSGD를 사용하는 FedHybrid를 제안합니다. 또한, 우리는 FedAvg의 편향을 줄이기 위해 로컬 뉴턴 반복 (Local Newton iterations)을 평균화하는 FedNewton을 제안하며, 클라이언트 수가 충분히 느리게 증가할 때 FedSGD와 대등한 추정 정확도를 훨씬 적은 통신 라운드 (Communication rounds)로 달성함을 보여줍니다. 우리는 클라이언트 수, 로컬 샘플 크기 (Local sample sizes), 프라이버시 예산 (Privacy budget), 그리고 반복 횟수 (Number of iterations)의 함수로서, 이러한 추정치들의 DP 버전이 갖는 평균 제곱 오차 (Mean-squared error, MSE)율에 대한 유한 샘플 상한 (Finite sample upper bounds)을 설정합니다. 나아가, 우리는 이러한 방법들의 최적성 격차 (Optimality gap)를 평가하기 위한 벤치마크를 제공하는, 모든 반복적 프라이빗 연합 절차 (Iterative private federated procedure)의 MSE에 대한 미니맥스 하한 (Minimax lower bound)을 도출합니다. 우리는 컴퓨터 비전 데이터셋인 MNIST와 CIFAR-10에서 로지스틱 회귀 (Logistic regression) 및 신경망 (Neural network)을 학습시키기 위해 제안된 방법들을 수치적으로 평가합니다.