FedSIR: 스펙트럼 구조를 활용한 연합 학습 강화

요약

본 논문은 분산된 클라이언트의 데이터에 노이즈 라벨(noisy labels)이 존재하는 상황에서 발생하는 연합 학습(Federated Learning, FL) 성능 저하 문제를 해결하기 위한 새로운 프레임워크인 FedSIR을 제안합니다. 기존 방식들이 손실 함수 설계나 훈련 중 동역학 활용에 의존했던 것과 달리, FedSIR은 클라이언트의 특징 표현(feature representations)이 가진 스펙트럼 구조를 분석하는 데 초점을 맞춥니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다. 첫째, 클래스별 특징 부분공

핵심 포인트

• FedSIR은 노이즈 라벨 환경의 FL 성능 저하 문제를 해결하기 위한 다단계 프레임워크입니다.
• 기존 방식과 달리, FedSIR은 클라이언트 특징 표현의 스펙트럼 구조를 활용하여 레이블 노이즈를 식별하고 완화합니다.
• 시스템은 스펙트럼 일관성 분석을 통해 깨끗한(clean) 클라이언트를 식별하고, 이를 기준으로 노이즈가 있는 클라이언트의 샘플 재라벨링을 수행합니다.
• 최종적으로 로그잇 조정 손실, 지식 증류 (Knowledge Distillation), 거리 인식 집계 등을 통합한 노이즈 인지 훈련 전략으로 최적화를 안정화합니다.