HarmVideoBench: 대규모 멀티모달 모델(LMMs)의 유해 비디오 이해 능력 벤치마킹

대규모 시각-언어 모델 (LVLMs)은 최근 자동화된 콘텐츠 중재 (content moderation) 분야에서 엄청난 잠재력을 보여주었으며, 이는 유해 비디오 벤치마크 개발에 대한 관심 증가로 이어졌습니다. 그러나 우리는 기존 연구에서 두 가지 주요 한계점을 확인했습니다: 1) 유해 비디오의 다층적 특성이 간과되고 있습니다. 기존 벤치마크들은 주로 평가를 이진 분류 (binary classification) 작업으로 구성하여, 암시적이거나 깊은 맥락적 유해성을 포착하지 못합니다. 2) 설명적 근거 (explanatory rationales)가 완전히 결여되어 있습니다. 현재의 프레임워크는 모델이 왜 그렇게 판단했는지 설명하기보다는 모델이 비디오를 올바르게 플래그 (flag) 하는지 여부만을 배타적으로 측정하며, 이로 인해 평가가 모델이 피상적인 지름길을 통해 성공할 수 있는 블랙박스 (black box)로 변질됩니다. 이러한 문제를 해결하기 위해, 우리는 1,379개의 비디오와 4,137개의 객관식 질문이 쌍을 이루는 다층적 진단 벤치마크인 HarmVideoBench를 제시합니다. HarmVideoBench는 관찰 가능한 증거 (Observable Evidence), 클립 내부 의미 (Clip-Internal Meaning), 그리고 클립 너머의 추론 (Beyond-Clip Reasoning)이라는 세 가지 계층적 차원을 벤치마킹하며, 신중하게 균형을 맞추고 큐레이션된 샘플을 통해 표면적인 단서를 넘어 모델의 깊은 이해도를 평가하는 것을 목표로 합니다. 우리는 유해 비디오에 대한 다차원적 이해도를 평가하기 위해 19개의 선도적인 모델을 HarmVideoBench로 평가합니다. 또한, 우리는 추론 경계 (reasoning boundaries)를 예측하고 필요할 때만 동적으로 맥락을 검색하는 벤치마크 정렬 방식인 BCR을 도입합니다. 실험 결과에 따르면, BCR은 유해 비디오 이해에 있어 베이스 모델의 성능을 실질적으로 향상시켜, 매크로 평균 (macro average)을 61.7%에서 최첨단 (state-of-the-art) 수준인 84.4%로 끌어올렸습니다.