멀티모달 도메인 일반화에서 우리는 진전을 이루고 있는가? 종합 벤치마크 연구

모델의 견고성을 향상시키는 멀티모달 도메인 일반화 (Multimodal Domain Generalization, MMDG) 의 인기가 높아짐에도 불구하고, 보고된 성능 향상이 진정한 알고리즘적 진전인지 아니면 일관되지 않은 평가 프로토콜의 산물인지에 대한 명확한 답은 아직 없습니다. 현재 연구는 데이터셋, 모달리티 구성, 실험 설정을 통해 크게 달라지는 방식으로 분산되어 있습니다. 또한, 기존의 벤치마크는 주로 행동 인식 (action recognition) 에 집중하여 입력 왜곡 (input corruptions), 모달리티 누락, 모델 신뢰성 등 중요한 현실 세계의 도전 과제를 종종 간과합니다. 이러한 표준 부재는 분야의 진전을 신뢰할 수 있는 평가로 가려냅니다. 이 문제를 해결하기 위해 우리는 MMDG-Bench 를 소개합니다. 이는 행동 인식, 기계적 고장 진단 (mechanical fault diagnosis), 감정 분석 (sentiment analysis) 을 포함한 세 가지 다양한 데이터셋을 아우르는 첫 번째 통합적이고 종합적인 멀티모달 도메인 일반화 벤치마크로, 평가 프로토콜을 표준화합니다. MMDG-Bench 는 6 개의 모달리티 조합, 9 개의 대표적 방법론, 그리고 여러 평가 설정을 포함합니다. 단순 정확도 (accuracy) 를 넘어선 것으로, 왜곡 견고성 (corruption robustness), 모달리티 누락 일반화 (missing-modality generalization), 오분류 감지 (misclassification detection), 분포 밖 감지 (out-of-distribution detection) 를 체계적으로 평가합니다. 총 95 개의 고유한 크로스 도메인 과제에서 7,402 개의 신경망이 훈련되었으며, MMDG-Bench 는 5 가지 핵심 결과를 제공합니다: (1) 공정한 비교 하에 최근 전문화된 MMDG 방법론은 ERM 기준선 대비 미미한 개선만 제공합니다; (2) 데이터셋이나 모달리티 조합을 가로지르는 단일 방법이 다른 방법을 일관되게 능가하지 않습니다; (3) 상한 성능과의 격차가 여전히 존재하여, MMDG 가 아직 완전히 해결되지 않았음을 시사합니다; (4) 트리모달 퓨전 (trimodal fusion) 은 가장 강력한 이모달 구성보다 일관되게 우위를 점하지 않습니다; 그리고 (5) 모든 평가된 방법은 왜곡 및 모달리티 누락 시나리오 하에 심각한 저하를 보이며, 일부 방법론은 모델 신뢰성을 추가로 훼손합니다.