현명하고 프라이빗하게 선택하기: 공정하고 효율적인 연합 학습 (Federated Learning)을 위한 선제적 클라이언트 선택

연합 학습 (Federated Learning)은 데이터 전송 없이 분산된 데이터 소스 전반에 걸쳐 협업 모델 학습을 가능하게 합니다. 평균 기반 (Averaging-based) FL은 비독립 동일 분포 (non-IID) 데이터의 존재로 인해 제한을 받으며, 이는 수렴 속도와 최종 모델 정확도에 부정적인 영향을 미칩니다. 기존의 대안들은 상당한 비효율성을 겪고 있습니다. 노이즈가 많거나 매우 이질적인 데이터를 가진 클라이언트들은 값비싼 그래디언트 (gradient) 계산을 수행하지만, 이 계산값들은 집계 (aggregation) 전에 폐기되거나 크게 가중치가 낮아집니다. 이러한 사후 대응적 (reactive) 접근 방식은 계산 자원을 낭비하고, 더 많은 통신 라운드 (communication rounds)를 요구하며, 불필요한 프라이버시 노출을 초래합니다.

본 논문에서는 학습이 시작되기 전에 결합된 데이터가 유용성 (utility) 및 공정성 (fairness) 요구 사항을 충족하는 최적의 클라이언트 연합 (federation)을 찾는 것을 목표로 하는 선제적 (proactive) 클라이언트 선택 프레임워크를 제안합니다. 우리의 방법은 연합 데이터셋 내 교차 특징 상관관계 (cross-feature correlations)의 관련성을 정량화하기 위해 차분 프라이버시 (differentially private) 분할표 (contingency tables)로부터 계산된 상호 정보량 (mutual information)에 의존합니다. 우리는 두 가지 목표의 균형을 맞추는 고정 크기 연합 집합에 대한 잠재적 연합 손실 (Potential Federation Loss, PFL)을 도입합니다. 이는 그룹 불공정성을 방지하기 위해 공정한 교차 특징 상관관계를 보장하는 동시에 집합적 데이터 유용성을 극대화하는 것입니다. 클라이언트 선택은 PFL 목적 함수에 대한 최적 부분 집합 탐색 문제로 표현되며, 우리는 클라이언트의 로컬 통계에 대한 강력한 차분 프라이버시 (differential privacy) 보장 하에 시뮬레이티드 어닐링 (simulated annealing)을 사용하여 이를 해결합니다. 4개의 벤치마크에 대한 실험 결과, 최첨단 적응형 집계 (adaptive aggregation) 또는 샘플링 전략이 사용되는 경우와 비교하더라도, 최적으로 찾아낸 연합에서 학습된 모델이 균등 샘플링 (uniform sampling)에 비해 더 빠르고, 공정하며, 더 정확한 모델임을 보여줍니다.