Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
ReListen은 고정된 오디오 언어 모델을 활용하여 긴 녹음 파일에서 질문에 대한 증거를 학습 없이 찾아내는 방법을 제안합니다. 이 방법은 20초 단위 구간에 점수를 매겨 가장 관련성 높은 오디오 부분을 추출하며, 전사본 검색보다 정확도가 높고 빠릅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기오디오 언어 모델(Audio language models)은 오디오 자체로부터 질문에 답하도록 설계되었지만, 한 시간 분량의 녹음 파일이 그들의 컨텍스트 창에 담기는 경우는 드물며, 답변은 종종 그중 몇 초간의 내용에 의존합니다. 녹음을 먼저 전사(transcribing)하면 모델에 맞출 수는 있지만 소리나 목소리가 손실되고, 오디오로 되돌아가는 시스템은 이러한 동작을 위해 훈련되어야 합니다.
우리는 ReListen이라는 것을 제안합니다. 이는 고정된 오디오 언어 모델이 답변하기 전에 스스로 증거를 찾는 학습 없는(training-free) 방법입니다. Jev 스타일 스캔(Jev-style scan)에서, 이 모델은 질문에 답하는 데 도움이 될 확률을 기준으로 각 20초 구간에 점수를 매기고, 가장 높은 점수를 받은 분량의 오디오에서 답변합니다. 이 분량은 VoiceGiraffe 질문 중 88.5%에 대해 전사본 검색보다 주석이 달린 증거와 훨씬 더 많이 겹칩니다.
아무런 변경 없이도, 동일한 스캔은 시간적 근거 파악(temporal grounding)을 위해 훈련된 모델뿐만 아니라 LAT-Bench에서도 이벤트를 근거화합니다. 이를 통해 답변하는 것은 전체 녹음을 듣는 것과 같거나 능가하며, 오디오의 작은 부분만으로 VoiceGiraffe에서는 전체 녹음의 전사본보다 9.2점 더 높은 점수를 기록했습니다.
선택된 증거는 읽기보다는 듣는 것이 가치가 있습니다. 동일한 발췌문을 가지고 있을 때, 그 전사본을 읽는 것은 음성 내용에 대해서는 듣기와 일치하지만, 소리나 목소리에 관한 질문에서는 듣기가 명확하게 더 정확합니다. 게다가 ReListen은 모든 전사 기반 시스템보다 빠르게 답변하며, 메모리는 하나의 GPU에서 전체를 들을 수 없을 정도로 긴 녹음 파일에서도 일정하게 유지됩니다. 따라서 고정된 오디오 언어 모델은 전사본이나 추가적인 훈련 없이도 스스로 한 시간 분량의 녹음을 검색할 수 있습니다.