FedCoE: 연합 조정형 이중 레벨 MoE를 통한 일반화와 개인화 간의 가교 역할

연합 학습 (Federated Learning, FL)은 개인정보를 보호하는 분산 학습을 위한 유망한 패러다임으로 부상했습니다. 그러나 기존의 FL 방법들은 근본적인 문제에 직면해 있습니다. 전통적인 평균 기반 (averaging-based) 접근 방식은 비독립 동일 분포 (non-IID) 조건에서 파라미터 발산 (parameter divergence) 문제를 겪는 반면, 개인화된 FL (personalized FL) 방법들은 로컬 데이터에 과적합 (overfit)되어 새로운 클라이언트에 대한 일반화에 실패합니다 (콜드 스타트 문제, cold-start problem). 전문가 혼합 (Mixture-of-Experts, MoE) 방식은 균일한 집합 (uniform aggregation)을 강제하는 대신 이질적인 데이터를 특화된 전문가에게 라우팅함으로써 이 문제를 자연스럽게 해결합니다. 본 논문에서는 글로벌 일반화와 로컬 개인화 사이의 균형을 효과적으로 맞추는 연합 조정형 이중 레벨 전문가 혼합 (Federated Coordinated dual-level mixture-of-Experts) 프레임워크인 FedCoE를 제안합니다. FedCoE는 서버에 여러 개의 독립적인 글로벌 전문가 모델을 유지하며, 집합 과정에서 클라이언트와 전문가 간의 상관관계를 동적으로 모델링하기 위해 공유 게이팅 네트워크 (shared gating network)를 채택하여 전문가 드리프트 (expert drift)와 게이팅 불일치 (gating inconsistency)를 효과적으로 완화합니다. 콜드 스타트 문제를 해결하기 위해, 우리는 새로운 클라이언트가 광범위한 로컬 학습 없이도 즉시 글로벌 전문가 풀을 활용할 수 있도록 하는 적응형 메커니즘 (adaptive mechanism)을 도입합니다. 광범위한 실험을 통해 FedCoE가 평균적으로 78.00%의 글로벌 정확도와 89.32%의 개인화 정확도를 달성하며, 베이스라인 대비 각각 8.82%와 29.19% 성능을 상회함을 입증했습니다. 콜드 스타트 시나리오에서 FedCoE는 어떠한 로컬 미세 조정 (fine-tuning) 없이도 77.27%의 정확도를 제공하며, 베이스라인보다 12.54% 이상 높은 성능을 보여줍니다.