가중치와 그래디언트를 넘어: 연합 학습 메시지의 분류 체계

연합 학습 (Federated Learning)은 전통적인 모델 가중치 (weights) 및 그래디언트 (gradients)의 교환을 넘어 빠르게 진화하고 있지만, 기존의 정의들은 합성 데이터 (synthetic data) 및 연합 분석 (federated analytics)과 같은 현대적 페이로드 (payloads)의 전체 범위를 포착하지 못하고 있습니다. 본 논문은 유용성 (utility)과 프라이버시 (privacy)를 모두 고려하는 연합 메시지 (federated message)의 공식적인 수학적 정의를 제안함으로써 이 간극을 해결합니다. 우리는 이러한 교환을 모델 구조 (model structures), 통계적 요약 (statistical summaries), 데이터 조건부 표현 (data-conditioned representations)의 세 가지 범주로 정리하는 분류 체계 (taxonomy)를 도입합니다. 계산 요구 사항 (computational demands), 통신 비용 (communication costs), 프라이버시 위험 (privacy risks)을 기준으로 이러한 그룹들을 평가함으로써, 분산 학습 (decentralized training)에 수반되는 트레이드오프 (trade-offs)에 대한 더 명확한 이해를 제공합니다. 최근 202개의 출판물을 검토한 결과, 2021년 이후 표준적인 딥러닝 (deep learning) 업데이트에서 벗어나 더욱 전문화된 정보 공유로 향하는 다양한 메시징 패러다임으로의 중요한 변화가 확인되었습니다. 이 프레임워크는 향후 연구가 다양한 하드웨어 및 보안 요구 사항에 맞춰 연합 시스템을 최적화할 수 있는 구조화된 경로를 제공합니다.