DualFact+: 절차적 비디오 이해를 위한 다중모달 사실 검증 프레임워크

요약

DualFact+는 절차적 비디오 캡셔닝의 사실성(factuality)을 평가하기 위해 설계된 이중 레이어 다중모달 프레임워크입니다. 이 프레임워크는 사실을 추상적인 개념적 사실과 비디오에 기반한 문맥적 사실로 분리하여 분석합니다. DualFact+는 텍스트 증거와 시각적 증거를 모두 활용하는 두 가지 모드(DualFact-T, DualFact-V)를 제공하며, 기존 모델들이 흔히 범하는 사실적 오류나 환각을 체계적으로 검증하고 인간의 판단과 높은 상관관계를 보여줍니다.

핵심 포인트

• 사실성 평가를 개념적 사실(추상적 의미론)과 문맥적 사실(비디오 기반 주어-목적어 실현)로 분리하여 분석합니다.
• DualFact는 텍스트 증거 검증(DualFact-T)과 비디오 시각적 증거 검증(DualFact-V)의 두 가지 모드를 제공합니다.
• 기존 최첨단 모델들은 유창하지만 사실적으로 불완전하거나 역할 일관성이 부족한 캡셔션을 생성하는 경향이 있습니다.
• DualFact는 표준 지표보다 인간의 사실성 판단과 더 강하게 상관관계가 있으며, 환각(hallucinations)을 효과적으로 드러냅니다.