연합 학습 기반 쿼드러플렛 학습 강화: 확률적 클라이언트 선택 및 임베딩 안정성 분석

연합 학습(Federated Learning, FL)은 데이터를 중앙 집중화할 필요 없이 분산된 클라이언트 전반에 걸쳐 모델을 훈련할 수 있게 합니다. 하지만 일반적으로 글로벌 모델의 일반화 성능은 클라이언트 간 데이터 이질성으로 인해 저하되는 경향이 있으며, 특히 데이터 가용성이 제한적이고 클래스 불균형이 있을 때 더욱 그렇습니다. 이러한 문제를 해결하기 위해, 우리는 FedQuad라는 새로운 방법을 제안합니다. 이 방법은 클라이언트 전반에 걸쳐 클래스 내 표현(intra-class representations)을 최소화하는 것을 명시적으로 강제하는 동시에 클래스 간 분리(inter-class splits)를 가능하게 합니다. 양성 쌍(positive pairs) 사이의 거리를 공동으로 최소화하고 음성 쌍(negative pairs) 사이의 거리를 최대화함으로써, 제안된 접근 방식은 모델 집계 과정에서 발생하는 표현 불일치(representation misalignment)를 완화합니다. 우리는 다양한 비-IID 설정과 변화하는 클라이언트 수 하에 CIFAR-10, CIFAR-100, 그리고 Tiny-ImageNet으로 우리의 방법을 평가했으며, 기존의 베이스라인 대비 일관된 개선을 입증했습니다. 또한, 중앙 집중식 환경과 연합 환경 모두에서 메트릭 학습 기반 접근 방식에 대한 포괄적인 분석을 제공하며, 이질적인 데이터 분포 하에서 표현 붕괴(representation collapse)를 완화하는 데 있어 그 효과성을 강조합니다.