멀티모달 단서 해독: 혐오 영상 뒤에 숨겨진 암시적 의미 밝히기

혐오 영상(Hateful videos)이 온라인 플랫폼에서 만연해짐에 따라, 효과적인 탐지에 대한 시급한 필요성이 강조되고 있습니다. 그러나 기존 연구들은 주로 이진 분류(binary classification)에 초점을 맞추고 있으며, 이러한 판단 뒤에 숨겨진 암시적 의미를 드러내는 맥락적 근거(contextual rationales)를 제공하지 못해 모델의 설명 가능성(explainability)을 크게 저해하고 있습니다. 이러한 격차를 메우기 위해, 우리는 모델이 결정과 함께 관련 증거와 논리적 추론을 통합한 맥락적 근거를 제공할 수 있도록 하는 설명 가능한 혐오 영상 탐지(explainable hateful video detection)를 달성하고자 합니다. 이 접근 방식은 비디오 콘텐츠에 대한 이해와 의사 결정 과정의 설명 가능성을 포괄적으로 향상시킬 수 있습니다. 우리는 먼저 설명 가능한 혐오 영상 탐지를 위해 두 가지 데이터셋인 Ex-HateMM과 Ex-ImpliHateVid를 소개합니다. 각 데이터셋은 맥락적 근거와 함께 멀티모달(multimodal) 유해 요소에 대한 세밀한 주석(fine-grained annotations)을 제공합니다. 그런 다음, 우리는 설명 가능한 탐지를 위해 설계된 정보 증강 및 추론 강화 (Information Augmentation and Reasoning Enhancement, IARE) 프레임워크를 제안합니다. 이 프레임워크는 멀티모달 사고 사슬 (multimodal chain-of-thought)을 활용하여 유해 요소를 통합함으로써 근거 증거를 풍부하게 하는 정보 증강 단계를 채택합니다. 또한, IARE는 추론 강화 단계를 포함하며, 여기서 직접 선호 최적화 (Direct Preference Optimization, DPO)가 모델을 올바른 추론 경로로 유도하고 잘못된 경로로부터 멀어지게 하여 정당화(justifications)의 논리적 일관성을 향상시킵니다. 우리는 두 데이터셋에 대해 광범위한 실험을 수행하여, 여러 베이스라인(baselines)을 우리가 제안한 IARE 프레임워크와 비교했습니다. 결과에 따르면 IARE는 정확한 근거를 생성하는 동시에 최첨단 (state-of-the-art) 성능을 달성함을 보여줍니다.