FLAM: 연합 학습에서 집계 가능한 측정 지표를 사용한 모델 성능 평가

요약

연합 학습(FL) 환경에서 분산된 데이터를 사용하기 때문에 모델 성능 평가는 어려운 과제입니다. 기존의 접근 방식은 로컬 샘플 수에 기반한 가중 평균 등 집계 전략에 의존하며, 이는 중앙 집중식 평가와 불일치를 보일 수 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해, 전역 테스트 데이터셋 없이도 중앙 집중식 평가와 동일한 결과를 산출하는 '집계 가능한 측정 지표(Aggregatable Metrics)' 기반의 성능 평가 방법인 FLAM을 제안합니다.

핵심 포인트

• 연합 학습(FL) 환경에서는 분산된 데이터로 인해 모델 성능 평가가 복잡하다.
• 기존의 집계 전략(예: 가중 평균)은 중앙 집중식 평가와 항상 일치하지 않는 문제가 있다.
• 성능 지표가 정확도에만 국한되어 있어 일반화 및 불일치를 초래한다.
• FLAM은 전역 테스트 데이터셋 없이도 중앙 집중식 평가와 동일한 결과를 보장하는 집계 가능한 측정 지표 기반의 성능 평가 방법을 제시한다.