모달리티 불균형 연합 그래프 학습을 향하여: 데이터 합성 기반 접근 방식

멀티모달 연합 그래프 학습 (MultiModal Federated Graph Learning, MM-FGL)은 자연스러운 협업 학습 패러다임을 제공하지만, 실제 배포 과정에서 두 가지 수준의 모달리티 불균형 (modality imbalance) 문제에 직면합니다. 클라이언트 수준의 불균형 (Client-level imbalance)은 특정 클라이언트에 전체 모달리티가 결여되었을 때 발생하며, 노드 수준의 불균형 (node-level imbalance)은 개별 노드가 시각적 또는 텍스트 속성을 누락했을 때 발생합니다. 관련 연구들이 존재하지만, 본 연구의 조사 결과 이들은 주로 그래프를 고려하지 않거나 (graph-agnostic) 중앙 집중식 시나리오를 대상으로 하고 있어 직접 적용하기 어렵다는 것을 확인했습니다. 이러한 과제를 해결하기 위해, 우리는 모달리티 불균형 MM-FGL을 암시적인 그래프 인식 잠재 의미 표현 합성 (implicit graph-aware latent semantic representation synthesis) 문제로 공식화합니다. 이 패러다임은 표현 공간 (representation space) 내에서 누락된 모달리티의 의미를 직접 복구함으로써, 원래 데이터의 의미론적 분포 (semantic distribution)와의 정렬을 극대화하고 누락된 모달리티로 인해 유발되는 높은 분산 (high variance)을 완화합니다. 이를 위해 우리는 세 가지 핵심 구성 요소를 통합한 FedMGS (Federated Modality-aware Graph Synthesis)를 제안합니다. 가용성 인식 그래프 인코더 (availability-aware graph encoder)는 누락된 모달리티가 로컬 구조적 전파 (local structural propagation)를 오염시키는 것을 방지합니다. 프로토타입 가이드 잠재 의미 합성기 (prototype-guided latent semantic synthesizer)는 사용 불가능한 모달리티에 대해 클라이언트 간 의미론적 앵커 (cross-client semantic anchors)를 구축합니다. 신뢰도 보정 의미론적 융합 메커니즘 (reliability-calibrated semantic fusion mechanism)은 예측 판독 (predictive readout) 이전에 복구된 잠재 표현 (latent representations)의 영향을 조절합니다. 네 가지 작업에 대한 광범위한 실험 결과, FedMGS는 경쟁력 있는 베이스라인 모델들을 지속적으로 능가하며, 최고의 효율성-성능 트레이드오프 (efficiency-performance tradeoff)와 함께 최대 17.41%의 성능 향상을 보여주었습니다.