시각이 소리를 대변할 때

요약

비디오 지원 MLLMs가 실제 오디오를 분석하는 대신 시각적 정보에만 의존하여 소리를 잘못 추론하는 현상을 다룹니다. 이러한 현상은 모델이 시각적 단서로부터 오디오를 환각하는 '오디오-비주얼 Clever Hans 효과'로 정의됩니다.

핵심 포인트

• 비디오 지원 MLLMs의 오디오 환각(hallucination) 문제 발생
• 실제 소리 대신 시각적 단서에 의존하여 오디오를 추론하는 경향
• 이러한 실패 모드를 '오디오-비주얼 Clever Hans 효과'라고 명명