MUFFLe: 연합 학습 (Federated Learning)을 위한 일반화된 중복 제거 (Generalized Deduplication)

연합 학습 (Federated Learning)은 엣지 환경에 매우 적합하지만, 모델 업데이트를 전송하는 업링크 (uplink) 비용에 의해 제한되는 경우가 많습니다. 본 진행 중인 연구 (Work-in-Progress) 논문은 FedAvg 파이프라인에 일반화된 중복 제거 (Generalized Deduplication, GD)를 통합한 통신 효율적인 업데이트 압축 방식인 MUFFLe를 제시합니다. MUFFLe는 업데이트 벡터 전반에 걸쳐 반복되는 패턴을 중복 제거하여, 고정된 비율(fixed-rate)과 가변적인 개수(variable-count)를 갖는 압축 방식을 제공합니다. 20개의 클라이언트를 대상으로 한 IID MNIST에서의 예비 실험 결과, MUFFLe는 38 MB의 누적 업링크 통신으로 $92.93%$의 목표 정확도에 도달했습니다. 이는 8비트 양자화 (8-bit quantization)의 75 MB, Top-$k$ 희소화 (sparsification)의 86 MB, 그리고 압축되지 않은 FedAvg의 310 MB와 비교됩니다. 이러한 결과는 통신 효율적인 연합 학습에 GD를 적용하는 것이 가능하다는 것을 입증합니다.