오디오 스크립트를 활용한 영상 내 허위 정보 구간 탐지 방법론

온라인상에 만연한 허위 정보(misinformation)는 정치적 양극화, 민주주의 공격, 공중 보건 위험 등 심각한 사회적 결과를 초래하는 가장 어려운 문제입니다. 이러한 허위 정보는 소셜 네트워크, 메시징 앱을 포함하여 모든 대규모 사용자 기반 플랫폼에서 이미지, 텍스트, 오디오, 비디오 등 모든 미디어 형태에 걸쳐 퍼져 있습니다.

특히 비디오 기반의 허위 정보는 개인이 쉽게 영상을 녹화하고 업로드할 수 있는 환경 때문에 사실 확인자(fact-checkers)에게 다각적인 난제를 제시합니다. 기존 연구들은 주로 영상 전체가 허위 정보를 포함하는지 여부만을 판단하는 '영상 수준 탐지(video-level detection)'에 초점을 맞추었습니다. 하지만 이러한 접근 방식은 문제가 발생하는 정확한 시간적 맥락이나, 어떤 구체적인 주장(claims)이 해당 영상의 허위성을 유발했는지에 대한 해석 가능한 정보를 제공하지 못한다는 근본적인 한계를 가집니다.

본 연구는 이러한 연구 격차를 해소하기 위해 오디오 스크립트를 활용하여 비디오 내에서 허위 정보가 발생하는 특정 시간 구간을 식별하는 '허위 정보 구간 탐지(misinformation span detection)'라는 새로운 과제를 제시합니다. 이를 위해 연구진은 두 가지 혁신적인 데이터셋을 구축했습니다. 이 과정에서 각 영상의 오디오를 텍스트로 전사(transcribe)하고, 허위 정보 주장이 나타나는 비디오 세그먼트를 식별하여 어노테이션된 사실 확인 주장(annotated fact-checked claims)이 포함된 총 2,400개 이상의 세그먼트와 500개 이상의 영상으로 구성된 데이터셋을 마련했습니다.

연구진은 최신 언어 모델(state-of-the-art language models)로 구축한 분류기(classifiers)를 사용하여 이 과제를 수행했으며, 그 결과 허위 정보가 포함된 비디오의 특정 구간을 식별하는 데 있어 F1 점수 0.68이라는 성과를 거두었습니다.

본 연구의 주요 기여는 단순히 탐지율을 높이는 것을 넘어, '언제(when)' 그리고 '무엇이(what claims)' 허위 정보를 구성했는지에 대한 해석 가능한 맥락적 이해를 제공한다는 점입니다. 또한, 구축된 어노테이션 데이터셋과 모든 스크립트, 오디오 및 비디오 자료를 공개하여 해당 분야 연구 발전에 기여하고 있습니다.