불완전한 멀티모달 학습을 위한 잔차 가이드 기반 전문가 특화 (Residual-Guided Expert Specialization for

원문 발행 2026. 06. 29. 23:24원문 언어 영어AI 한국어 번역arXiv cs.AI 원문 보기

요약

모달리티 누락 상황에서도 강건한 성능을 유지하기 위한 MoE 프레임워크인 MARS를 제안합니다. 잔차 신호를 활용해 전문가를 특화시키고, 특징 라우터가 불완전한 입력만으로도 이를 모방하도록 학습하여 추론 시의 성능 저하를 방지합니다.

핵심 포인트

불완전한 멀티모달 학습(IML) 문제를 해결하기 위한 MARS 프레임워크 제안
잔차 신호를 활용하여 모달리티 누락 패턴에 특화된 전문가 할당
특징 라우터가 불완전한 입력만으로도 라우팅을 모방하도록 설계
노이즈 정규화를 통해 학습-테스트 간 라우터 격차 완화 및 강건성 확보
분류 및 세그멘테이션 태스크에서 기존 베이스라인 모델 대비 우수한 성능 입증

실제 환경의 예측 시스템은 추론 시 모달리티(modality)가 누락되는 상황에 자주 직면하기 때문에, 불완전한 멀티모달 학습 (Incomplete Multimodal Learning, IML)은 여전히 실질적인 과제로 남아 있습니다. 기존 방법들은 누락된 입력에 대해 강건한 표현(representation)을 학습하는 것을 목표로 하지만, 불완전한 모달리티로부터 얻은 표현은 증거의 부재로 인해 완전한 모달리티(full-modality)의 표현으로부터 필연적으로 벗어나게 됩니다. 이러한 편차를 명시적으로 활용하기 위해, 우리는 표현이 누락(missingness)에 의해 어떻게 재구성되는지에 따라 전문가 특화(expert specialization)를 가이드하는 Mixture-of-Experts (MoE) 프레임워크인 MARS (Missingness-Aware Residual-guided Specialization)를 제안합니다. 학습 과정에서 불완전한 입력으로부터 유도된 태스크 표현을 완전한 입력의 표현과 대조함으로써, 우리는 이러한 표현 격차를 포착하는 특권적 잔차 신호(privileged residual signal)를 도출합니다. 이 잔차 신호는 잔차 라우터(residual router)를 가이드하여 해당 편차 패턴에 특화된 전문가에게 샘플을 할당합니다. 이와 동시에, 특징 라우터(feature router)는 불완전한 입력만을 사용하여 이러한 라우팅 동작을 모방하도록 학습되어, 완전한 모달리티에 접근할 수 없는 상황에서도 배포가 가능하게 합니다. 이러한 학습-테스트 라우터 간의 격차를 완화하기 위해, 우리는 특징 라우터가 벗어날 때 잔차 라우터의 결정을 적응적으로 섭동(perturb)시키는 불일치 인식 노이즈 정규화(discrepancy-aware noise regularization)를 개발하여, 불완전한 모방 환경에서도 전문가의 강건성(robustness)을 향상시킵니다. 누락 시나리오 하에서의 멀티모달 분류 (CASIA-SURF, CREMA-D, UPMC Food-101) 및 세그멘테이션 (MCubeS) 실험을 통해, MARS가 효율성을 유지하면서 다양한 백본(backbone) 및 태스크로 확장 가능하며 일관되게 베이스라인 모델들을 능가함을 보여줍니다.

AI 자동 생성 콘텐츠

원문 바로가기

불완전한 멀티모달 학습을 위한 잔차 가이드 기반 전문가 특화 (Residual-Guided Expert Specialization for

요약

핵심 포인트

댓글