불완전한 멀티모달 학습을 위한 잔차 가이드 기반 전문가 특화 (Residual-Guided Expert Specialization for

실제 환경의 예측 시스템은 추론 시 모달리티(modality)가 누락되는 상황에 자주 직면하기 때문에, 불완전한 멀티모달 학습 (Incomplete Multimodal Learning, IML)은 여전히 실질적인 과제로 남아 있습니다. 기존 방법들은 누락된 입력에 대해 강건한 표현(representation)을 학습하는 것을 목표로 하지만, 불완전한 모달리티로부터 얻은 표현은 증거의 부재로 인해 완전한 모달리티(full-modality)의 표현으로부터 필연적으로 벗어나게 됩니다. 이러한 편차를 명시적으로 활용하기 위해, 우리는 표현이 누락(missingness)에 의해 어떻게 재구성되는지에 따라 전문가 특화(expert specialization)를 가이드하는 Mixture-of-Experts (MoE) 프레임워크인 MARS (Missingness-Aware Residual-guided Specialization)를 제안합니다. 학습 과정에서 불완전한 입력으로부터 유도된 태스크 표현을 완전한 입력의 표현과 대조함으로써, 우리는 이러한 표현 격차를 포착하는 특권적 잔차 신호(privileged residual signal)를 도출합니다. 이 잔차 신호는 잔차 라우터(residual router)를 가이드하여 해당 편차 패턴에 특화된 전문가에게 샘플을 할당합니다. 이와 동시에, 특징 라우터(feature router)는 불완전한 입력만을 사용하여 이러한 라우팅 동작을 모방하도록 학습되어, 완전한 모달리티에 접근할 수 없는 상황에서도 배포가 가능하게 합니다. 이러한 학습-테스트 라우터 간의 격차를 완화하기 위해, 우리는 특징 라우터가 벗어날 때 잔차 라우터의 결정을 적응적으로 섭동(perturb)시키는 불일치 인식 노이즈 정규화(discrepancy-aware noise regularization)를 개발하여, 불완전한 모방 환경에서도 전문가의 강건성(robustness)을 향상시킵니다. 누락 시나리오 하에서의 멀티모달 분류 (CASIA-SURF, CREMA-D, UPMC Food-101) 및 세그멘테이션 (MCubeS) 실험을 통해, MARS가 효율성을 유지하면서 다양한 백본(backbone) 및 태스크로 확장 가능하며 일관되게 베이스라인 모델들을 능가함을 보여줍니다.