오디오 QA 모델 성능 검증을 위한 새로운 벤치마크: AUDITA 소개

요약

기존 오디오 질의응답(Audio QA) 벤치마크는 사운드 이벤트 분류나 캡션 기반 질문에 치중되어, 모델들이 표면적인 단서나 데이터셋 편향을 이용해 쉽게 성공하는 경우가 많았습니다. 저희가 제안하는 AUDITA (Audio Understanding from Diverse Internet Trivia Authors)는 실제 세계의 지식을 바탕으로 인간이 작성한 트릿비(trivia) 질문들로 구성된 대규모 벤치마크입니다. 이 데이터셋은 오디오에 대한 깊고 견고한 추론 능력을 요구하며, 단일 사운드나 텍스트만으로는 답할 수 없는 복잡한

핵심 포인트

• AUDITA는 실제 세계 지식을 기반으로 인간이 작성한 트릿비 질문들로 구성된 대규모 오디오 QA 벤치마크입니다.
• 본 데이터셋은 단순 사운드 인식이나 캡션 의존성을 넘어선 견고한 청각 추론 능력을 평가하도록 설계되었습니다.
• 인간의 평균 정확도는 32.13%를 기록하여 과제의 난이도를 보여주었으며, 최신 AI 모델들의 평균 정확도는 8.86% 미만으로 매우 저조했습니다.
• 단순 정확도 외에 Item Response Theory (IRT)를 적용하여 모델의 잠재적 숙련도와 질문의 난이도를 체계적으로 분석할 수 있습니다.