VISAFF: 대화 내 감정 인식을 위한 화자 중심 시각적 정서 특징 학습

요약

VISAFF는 대화 내 감정 인식(ERC)을 위해 화자의 시각적 정서 특징에 집중하는 새로운 프레임워크를 제안합니다. 기존 Vision-Language Models(VLMs)가 배경이나 수동적 청취자에 집중하는 문제를 해결하기 위해, 튜닝 없이도 능동적 화자의 감정 단서를 포착하고 텍스트 및 음향 정보를 활용해 시각적 불확실성을 보완합니다. 이를 통해 대규모 모델의 미세 조정 비용을 줄이면서도 최신 기술 수준의 성능을 달성했습니다.

핵심 포인트

• 화자 중심의 시각적 정서 접지(Speaker-Centered Affective Grounding)를 통해 능동적 화자의 감정 단서에 집중함
• 신뢰도 기반 정서 보완(Reliability-Guided Affective Complementation) 메커니즘으로 텍스트 및 음향 모달리티를 활용해 시각적 모호성 해결
• 동결된(frozen) VLM을 사용하는 tuning-free 접근 방식으로 계산 비용과 미세 조정 오버헤드 제거
• 실제 데이터셋 실험을 통해 기존 SOTA 모델 대비 경쟁력 있는 성능과 높은 효율성 입증