FedSIR: 스펙트럼 구조를 활용한 연합 학습 강화

🔬 FedSIR: 스펙트럼 구조를 활용한 연합 학습 강화

연합 학습(Federated Learning, FL)은 원시 데이터 공유 없이 협력적인 모델 훈련을 가능하게 하는 강력한 기술입니다. 하지만 분산된 클라이언트의 데이터에 노이즈 라벨(noisy labels)이 존재할 경우, 이는 학습 성능을 심각하게 저하시키는 주요 원인이 됩니다.

본 논문에서는 이러한 문제에 대응하기 위해 FedSIR이라는 다단계 프레임워크를 제안합니다. FedSIR은 단순히 손실 함수를 설계하거나 훈련 중의 동역학(dynamics)에 의존하는 기존 접근 방식들과 차별화됩니다. 대신, 클라이언트 특징 표현(feature representations)이 가진 고유한 스펙트럼 구조(spectral structure)를 분석하여 레이블 노이즈를 식별하고 완화합니다.

FedSIR은 세 가지 핵심 구성 요소로 작동합니다:

1. 클라이언트 식별: 클래스별 특징 부분공간(class-wise feature subspaces)의 스펙트럼 일관성(spectral consistency)을 분석하여, 통신 오버헤드를 최소화하면서 깨끗한 클라이언트를 식별하고 노이즈가 있는 클라이언트를 구분합니다.
2. 재라벨링: 깨끗한 클라이언트가 기준점 역할을 하여, 노이즈가 있는 클라이언트는 지배적인 클래스 방향(dominant class directions)과 잔여 부분공간(residual subspaces)을 모두 활용해 잠재적으로 손상된 샘플을 재라벨링합니다.
3. 훈련 안정화: 마지막으로, 로그잇 조정 손실(logit-adjusted loss), 지식 증류 (Knowledge Distillation), 그리고 거리 인식 집계(distance-aware aggregation)를 통합한 노이즈 인지 훈련 전략을 적용하여 연합 최적화를 더욱 안정화합니다.

광범위한 FL 벤치마크 실험 결과, FedSIR은 노이즈 라벨 환경에서 기존의 최첨단 방법론들보다 일관되게 우수한 성능을 입증했습니다.