EASE: 엔탱글먼트 인식 공간 절개를 통한 연방 다중 모달 학습 비학습

연방 다중 모달 학습 (FML) 은 분산 클라이언트 간에 다중 모달 모델을 훈련시키면서 이미지-텍스트 쌍의 프라이버시를 유지합니다. 그러나 결합 임베딩 훈련은 양쪽 모달리티와 클라이언트 그래디언트 서브스페이스를 모두 통해 잊혀진 지식을 엉킶니다 (entangles forgotten knowledge across both modalities and client gradient subspaces), 연방 비학습을 방해합니다. 이전 연방 비학습 접근법은 쌍선형 결합을 매개로 한 모달리티 간 재구성 채널을 절단하거나, 유지된 클라이언트와 공유되는 방향과 잊혀진 전용 업데이트 방향을 분리하지 못했습니다. 우리는 연방 다중 모달 대비 비학습에 대한 앵클 원리 (Anchor Principle) 를 식별합니다: 잊혀진 정렬은 쌍선형 모달리티 간 결합, 주성분 각도 서브스페이스 엔탱글먼트, 그리고 지속된 연방 업데이트에서 비롯된 세 잔류 앵클을 통해 유지됩니다. 모달리티 수준에서는 시각 및 언어 분지를 양방향으로 이동시켜 모달리티 간 재구성 채널을 닫는다는 것을 보여줍니다. 이에 따라 우리의 방법은 클라이언트 업데이트 서브스페이스의 코사인-사인 (Cosine--Sine) 분해를 통해 서브스페이스 엔탱글먼트를 해결하고, 유지 지원과 잊혀진 전용 방향을 분리합니다. 또한, 라운드 간 잔류 드리프트를 제한하는 방향 선택적 Forget Lock 을 제안합니다. 이러한 전략들을 결합하여, 우리는 모든 세 앵클 채널을 통합된 설계 하에 닫는 Entanglement-Aware Subspace Excision 프레임워크인 EASE 를 제시합니다. EASE 는 Flickr30K 클라이언트 비학습에서 CLIP-B/32 를 사용하여 forget 및 retain 측에서 0.2 와 4.2 R@1 점 내에서 리트레인 참조를 맞추는 등, 여러 데이터셋과 비학습 시나리오에서 일관된 우위를 보여줍니다.