CRAFT: 연합 학습을 위한 충돌 해결 집계 (Conflict-Resolved Aggregation for Federated Training)
요약
이질적인 데이터 분포를 가진 연합 학습 환경에서 클라이언트 간의 업데이트 충돌 문제를 해결하기 위한 새로운 집계 프레임워크인 CRAFT를 제안합니다. CRAFT는 전역 업데이트를 기하학적 교정 문제로 정의하고, 충돌 없는 정렬 제약 조건을 만족하는 폐쇄형 해(Closed-form expression)를 도출하여 계산 효율성을 높였습니다. 실험 결과, CRAFT는 기존 방식 대비 전역 모델의 정확도를 높이고 클라이언트 간 성능 격차를 효과적으로 줄이는 것으로 나타났습니다.
핵심 포인트
- 연합 학습의 고질적 문제인 클라이언트 업데이트 간의 충돌 및 성능 저하 문제 해결
- 집계 과정을 충돌 없는 정렬 제약 조건을 만족하는 최적화 문제로 공식화
- 반복적 솔버 대신 폐쇄형 해(Closed-form expression)를 사용하여 계산 오버헤드 최소화
- 계층별 적응(Layer-wise adaptation)을 통해 다양한 특징 입도에서의 충돌 완화
- 이론적 분석과 실험을 통해 전역 모델 정확도 향상 및 클라이언트 간 성능 격차 감소 입증
이질적인 데이터 분포 하에서의 연합 학습 (Federated Learning, FL)에서 충돌하는 클라이언트 업데이트를 집계하는 것은 여전히 근본적인 병목 현상으로 남아 있습니다. 단순 평균 (Naive averaging) 방식은 전역 목적 함수 (Global objective)를 개선하는 전역 업데이트를 생성할 수 있지만, 특정 클라이언트들과는 충돌하여 해당 클라이언트들의 성능 저하를 야기할 수 있습니다. 본 연구에서는 전역 업데이트를 기하학적 교정 문제 (Geometric correction problem)로 취급하는 새로운 집계 프레임워크인 CRAFT (Conflict-Resolved Aggregation for Federated Training)를 제안합니다. 우리는 집계를 충돌 없는 정렬 제약 조건 (Conflict-free alignment constraints)을 만족하면서 참조 방향 (Reference direction)에 가장 가까운 업데이트를 찾는 문제로 공식화합니다. 우리는 반복적 솔버 (Iterative solvers)의 계산 오버헤드를 피하기 위해 이 제약 최적화 문제 (Constrained optimization problem)에 대한 폐쇄형 해 (Closed-form expression)를 도출합니다. 또한, 다양한 특징 입도 (Feature granularities)에서의 충돌을 해결하기 위해 계층별 적응 (Layer-wise adaptation)을 사용합니다. 우리는 CRAFT가 공통 하강 구조 (Common-descent structure)를 촉진하고 투영 기하학 (Projection geometry)을 통해 충돌을 완화함을 보여주는 이론적 분석을 제공합니다. 이질적인 벤치마크에 대한 광범위한 실험을 통해, CRAFT가 최신 베이스라인 (State-of-the-art baselines)과 비교했을 때 클라이언트 간의 성능 격차를 줄이면서 전역 모델의 정확도를 향상시킨다는 것을 입증합니다. CRAFT의 소스 코드는 https://github.com/tum-pbs/CRAFT 에서 확인할 수 있습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기