순서가 중요하다: 혼합 감정 인식(Blended Emotion Recognition)을 위한 순위 인식 선택적 융합

요약

본 논문은 미묘하고 중첩된 멀티모달 단서를 처리하기 위한 '순위 인식 선택적 융합' 프레임워크를 제안합니다. 다양한 비디오 및 오디오 인코더의 특징을 공유 잠재 공간으로 투영한 뒤, 어텐션 기반 게이팅을 통해 가장 정보량이 많은 상위 n개의 인코더만을 선택적으로 결합합니다. BlEmoRE 챌린지에서 2위를 기록하며 제안된 방식의 효과를 입증했습니다.

핵심 포인트

• 상호 보완적인 멀티모달 표현을 결합하기 위한 순위 인식 멀티 인코더 프레임워크 제안
• 어텐션 기반 게이팅 모듈을 사용하여 샘플별로 가장 중요한 상위 n개의 인코더 특징만 선택적 융합
• 감정의 존재(Presence)와 돌출성(Salience)을 분리하여 예측하고 확률 수준에서 정렬
• 비지도 도메인 적응(Unsupervised domain adaptation)을 통해 분포 변화에 대한 강건성 확보
• BlEmoRE 챌린지 2위 달성으로 기존 베이스라인 대비 우수한 성능 증명