오디오 QA 모델 성능 검증을 위한 새로운 벤치마크: AUDITA 소개

기존 오디오 질의응답(Audio QA) 벤치마크는 종종 사운드 이벤트 분류(sound event classification)나 캡션 기반 질문에 초점을 맞추어, 모델들이 깊은 추론 없이도 쉽게 성공하는 '지름길 전략(shortcut strategies)'을 사용하도록 유도했습니다. 이러한 방식은 단기적인 음향 단서(short-duration cues), 어휘적 사전 지식(lexical priors), 데이터셋 특유의 편향성, 심지어 오디오 자체를 건너뛰고 메타데이터나 캡션에 의존하는 방식으로 인해 진정한 청각 추론 능력을 제대로 평가하지 못했습니다.

이에 저희는 AUDITA (Audio Understanding from Diverse Internet Trivia Authors)라는 대규모, 실제 세계 기반의 새로운 벤치마크를 제안합니다. AUDITA는 현실 세계의 지식(real-world trivia)을 바탕으로 인간이 직접 작성한 질문들로 구성되어 있으며, 오디오에 대한 견고하고 심층적인 추론 능력을 엄격하게 평가하도록 설계되었습니다.

이 벤치마크의 핵심은 '도전적인 방해 요소(challenging distractors)'와 '장거리 시간 의존성(long-range temporal dependencies)'을 활용하여 모델의 청각적 이해를 극도로 어렵게 만드는 데 있습니다. AUDITA는 오직 고립된 텍스트나 사운드 단서만으로는 답변할 수 없는, 깊은 맥락적 추론이 필요한 질문들로 구성되어 있어, 단순한 표면적 음향 인식(surface-level acoustic recognition)을 넘어선 이해를 요구합니다.

실험 결과에 따르면, 이 과제의 난이도가 매우 높음을 보여주듯 인간의 평균 정확도는 32.13%였습니다. 반면, 최신 오디오 QA 모델들의 평균 정확도는 8.86% 미만으로 나타나며, 이는 현존하는 AI 모델들이 복잡한 청각 추론 과제에 직면했을 때 심각한 성능 부족을 보인다는 것을 명확히 보여줍니다.

단순한 원시 정확도(raw accuracy) 측정에 그치지 않고, 저희는 Item Response Theory (IRT)를 적용하여 각 모델의 잠재적 숙련도를 추정하고, 질문 자체의 난이도와 데이터셋의 체계적인 결함을 노출시키는 분석을 수행했습니다. 이는 연구자들이 모델의 부족한 부분을 보다 정교하게 진단하고 개선할 수 있는 기반을 제공합니다.