차분 프라이버시가 적용된 연합 학습(Differentially Private Federated Learning)의 통계적 한계 및 효율적인

원문 발행 2026. 05. 19. 02:01원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

본 연구는 차분 프라이버시(DP)가 적용된 연합 학습 환경에서 추정 정확도, 프라이버시 제약, 통신 비용 간의 트레이드오프를 분석합니다. 기존 FedAvg의 편향 문제와 FedSGD의 높은 통신 비용 문제를 해결하기 위해 FedHybrid와 FedNewton이라는 새로운 방법론을 제안합니다. 또한, 제안된 방법들의 성능을 평가하기 위해 MSE에 대한 유한 샘플 상한과 미니맥스 하한을 수학적으로 도출하였습니다.

핵심 포인트

FedAvg의 높은 연합 편향과 FedSGD의 높은 통신 비용 사이의 트레이드오프 분석
FedHybrid: FedAvg 초기화와 FedSGD를 결합하여 통신 비용 절감 및 정확도 향상
FedNewton: 로컬 Newton 반복을 통해 FedAvg의 편향을 줄이고 통신 효율성 개선
DP 연합 학습의 MSE에 대한 유한 샘플 상한 및 미니맥스 하한 도출
MNIST 및 CIFAR-10 데이터셋을 통한 로지스틱 회귀 및 신경망 성능 검증

연합 학습 (Federated Learning)은 수많은 사용자 기기 또는 데이터베이스에 걸쳐 협력적으로 머신러닝 (ML) 및 인공지능 (AI) 모델을 학습시키기 위한 선도적인 프레임워크입니다. 본 연구에서는 차분 프라이버시 (Differentially Private, DP)가 적용된 연합 M 추정 (Federated M estimation)에 대하여 추정 정확도 (Estimation accuracy), 프라이버시 제약 조건 (Privacy constraints), 그리고 통신 비용 (Communication cost) 사이의 트레이드오프 (Trade-offs)를 연구합니다. 기존 문헌의 두 가지 표준적인 방법으로는 높은 연합 편향 (Federation bias)을 겪을 수 있는 FedAvg와 높은 통신 비용을 초래할 수 있는 FedSGD가 있습니다. 통신 비용을 줄이면서 정확도를 향상시키는 것을 목표로, 우리는 FedAvg 추정치에 의한 개선된 초기화 (Initialization)를 시작으로 FedSGD를 사용하는 FedHybrid를 제안합니다. 또한, 우리는 FedAvg의 편향을 줄이기 위해 로컬 뉴턴 반복 (Local Newton iterations)을 평균화하는 FedNewton을 제안하며, 클라이언트 수가 충분히 느리게 증가할 때 FedSGD와 대등한 추정 정확도를 훨씬 적은 통신 라운드 (Communication rounds)로 달성함을 보여줍니다. 우리는 클라이언트 수, 로컬 샘플 크기 (Local sample sizes), 프라이버시 예산 (Privacy budget), 그리고 반복 횟수 (Number of iterations)의 함수로서, 이러한 추정치들의 DP 버전이 갖는 평균 제곱 오차 (Mean-squared error, MSE)율에 대한 유한 샘플 상한 (Finite sample upper bounds)을 설정합니다. 나아가, 우리는 이러한 방법들의 최적성 격차 (Optimality gap)를 평가하기 위한 벤치마크를 제공하는, 모든 반복적 프라이빗 연합 절차 (Iterative private federated procedure)의 MSE에 대한 미니맥스 하한 (Minimax lower bound)을 도출합니다. 우리는 컴퓨터 비전 데이터셋인 MNIST와 CIFAR-10에서 로지스틱 회귀 (Logistic regression) 및 신경망 (Neural network)을 학습시키기 위해 제안된 방법들을 수치적으로 평가합니다.

AI 자동 생성 콘텐츠

원문 바로가기

차분 프라이버시가 적용된 연합 학습(Differentially Private Federated Learning)의 통계적 한계 및 효율적인

요약

핵심 포인트

댓글