오디오 스크립트를 활용한 영상 내 허위 정보 구간 탐지 방법론

요약

본 연구는 온라인상의 심각한 문제인 '허위 정보(misinformation)'를 다루며, 특히 비디오 기반의 허위 정보 탐지에 초점을 맞춥니다. 기존 연구가 영상 전체의 허위 여부만 판단하는 한계를 가졌던 반면, 본 논문은 오디오 스크립트를 활용하여 영상 내에서 구체적으로 어떤 시간 구간(span)에 허위 정보 주장이 포함되어 있는지 식별하는 '허위 정보 구간 탐지(misinformation span detection)'를 제안합니다. 연구진은 500개 이상의 비디오와 2,400개 이상의 세그먼트를 담은 두 개의 새로운 데이터셋을

핵심 포인트

• 기존의 영상 기반 허위 정보 탐지(video-level detection)는 어느 시점에 문제가 발생하는지 알려주지 못하는 한계가 있었습니다.
• 본 연구는 오디오 스크립트를 활용하여 비디오 내에서 허위 정보 주장이 나타나는 정확한 시간 구간을 식별하는 '허위 정보 구간 탐지(misinformation span detection)'를 수행합니다.
• 연구진은 500개 이상의 영상과 2,400개 이상의 세그먼트가 포함된 두 개의 새로운 데이터셋을 구축하고 공개했습니다.
• 최신 언어 모델 기반 분류기(classifiers built with state-of-the-art language models)를 사용하여 허위 정보 구간 탐지에서 F1 점수 0.68을 달성했습니다.