FedReLa: 재라벨링(Re-Labeling)을 통한 불균형 연합 학습 (Imbalanced Federated Learning)
요약
연합 학습 환경에서 발생하는 데이터 이질성과 클래스 불균형 문제를 해결하기 위한 새로운 방법론인 FedReLa를 제안합니다. 특징 의존적 라벨 재할당기를 통해 전역 클래스 분포 정보 없이도 편향된 결정 경계를 수정하여 모델 성능을 개선합니다.
핵심 포인트
- 데이터 이질성과 클래스 불균형이 공존하는 연합 학습 문제 해결
- 특징 의존적 라벨 재할당기를 통한 샘플 재라벨링 기법 도입
- 전역 클래스 분포에 대한 지식 없이도 모델 성능 향상 가능
- 추가적인 통신 오버헤드 없이 기존 알고리즘과 통합 가능
- 단계적 불균형 및 롱테일 데이터셋에서 SOTA 성능 달성
연합 학습 (Federated Learning)은 개인정보 보호를 유지하면서 분산된 모델 학습을 수행하기 위한 가장 주요한 접근 방식으로 부상했습니다. 전역적 클래스 불균형 (Global class imbalance)과 클라이언트 간 데이터 이질성 (Cross-client data heterogeneity)은 자연적으로 공존하며, 로컬 불균형과 전역 불균형 사이의 불일치는 집계된 모델의 성능 저하를 악화시킵니다. 전역 클래스 분포에 대한 무지 (Agnosticism)는 데이터 수준의 방법론, 특히 클라이언트 전반에 걸쳐 심각한 클래스 부재가 발생하는 극한 상황에서 큰 어려움을 초래합니다. 본 논문에서는 연합 학습에서 데이터 이질성과 클래스 불균형의 공존 문제를 해결하는 새로운 데이터 수준 접근 방식인 FedReLa를 제안합니다. FedReLa는 특징 의존적 라벨 재할당기 (Feature-dependent label re-allocator)를 사용하여 샘플을 재라벨링 (Re-labeling)함으로써, 전역 클래스 분포에 대한 지식 없이도 편향된 전역 결정 경계 (Global decision boundaries)를 수정합니다. 이 모듈식이며 모델 불가지론적 (Model-agnostic)인 접근 방식은 알고리즘 방법론과 통합되어 추가적인 통신 오버헤드 없이 일관된 개선을 제공할 수 있습니다. 광범위한 실험을 통해, 우리의 방법은 단계적 불균형 (Stepwise-imbalanced) 및 롱테일 (Long-tailed) 데이터셋에서 소수 클래스의 정확도와 전체 정확도를 크게 향상시켰으며, 기존의 최첨단 (State of the art) 기술들을 능가했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기