All That Glitters Is Not Audio: Text Priors and Audio Reliance 재고찰을 위한 오디오-언어 평가

요약

대형 오디오-언어 모델(LALM)의 성능 향상에도 불구하고, 높은 점수가 반드시 진정한 청각적 이해도를 의미하지는 않습니다. 본 논문은 '텍스트 사전'과 '오디오 의존성'이라는 두 가지 축을 사용한 진단 프레임워크를 제시하여 벤치마크 평가의 신뢰성을 재고합니다. 연구 결과, 모델들이 오디오 입력 없이도 전체 점수의 상당 부분을 유지하며, 완전한 오디오 클립이 필요한 항목은 매우 적다는 사실을 밝혀내어, 기존 벤치마크 설계에 대한 근본적인 의문을 제기하고 개선 방향을 제시합니다.

핵심 포인트

• LALM의 높은 점수가 실제 청각적 이해도를 반영하지 않을 수 있으므로 평가 신뢰성 재고가 필요하다.
• 진단 프레임워크는 '텍스트 사전(text prior)'과 '오디오 의존성(audio reliance)' 두 축을 사용하여 모델 성능을 분석한다.
• 모델들은 오디오 입력이 없어도 전체 점수의 60-72%를 유지하는 경향을 보여, 오디오 이해도의 과대평가 가능성을 시사한다.
• 실제 음향 신호가 필요한 항목은 매우 적으며, 대부분의 경우 국소화된(localized) 단편만으로도 충분히 해결 가능하다.