탈중앙화 연합 학습 (Decentralized Federated Learning)에서 Top-K 희소화 (Sparsification)를 이용한

보안 집계 (Secure aggregation)는 연합 학습 (Federated learning)에서 그래디언트 누출 (Gradient leakage)을 완화하기 위한 필수적인 구성 요소이지만, 전통적으로 그 통신 비용은 그래디언트 차원 (Gradient dimension)에 비례하여 증가합니다. 이는 대규모 모델에서 매우 부담스러우며, 대역폭이 제한적이고 신뢰할 수 없는 노드들이 존재하는 탈중앙화 연합 학습 (Decentralized federated learning) 환경에서는 더욱 두드러집니다. Top-K 그래디언트 희소화 (Top-K gradient sparsification)는 전체 그래디언트 중 일부 항목만 전송함으로써 경쟁력 있는 모델 정확도를 유지하면서 통신량을 줄이는 효과적인 접근 방식입니다. 그럼에도 불구하고, 각 사용자가 선택하는 Top-K 항목은 예측할 수 없으며 사용자마다 다르기 때문에, 효율적인 희소 보안 집계 (Sparse secure aggregation)를 구현하는 데 어려움이 있습니다. 본 논문은 사용자 탈퇴 (User dropouts) 및 사용자 공모 (User collusion) 상황 하에서 탈중앙화 연합 학습 내 Top-K 희소화를 적용한 정보 이론적 보안 집계 (Information-theoretic secure aggregation)를 연구합니다. 우리는 차원 의존적 오버헤드 (Dimension-dependent overhead)를 오프라인 단계로 분리하고, 무작위 마스크 (Random masks)와 순열 (Permutations)을 사용하여 개인 그래디언트 (Private gradients)를 보호하는 통신 효율적인 희소 보안 집계 방식을 제안합니다. 실험 결과, 제안된 방식은 그래디언트 희소화 비율이 1%에 불과할 때도 전체 그래디언트 집계 (Full-gradient aggregation)와 유사한 정확도를 유지하는 동시에 통신 비용을 대폭 절감함을 입증하였습니다.