DualFact+: 절차적 비디오 이해를 위한 다중모달 사실 검증 프레임워크

우리는 절차적 비디오 캡셔닝을 위한 이중 레이어 다중모달 사실성 평가 프레임워크인 DualFact 를 소개합니다. DualFact 는 사실의 정확성을 개념적 사실(conceptual facts)과 문맥적 사실(contextual facts)로 분리합니다. 개념적 사실은 추상적인 의미론적 역할 (예: 행동, 재료, 도구, 위치) 을 포착하고, 문맥적 사실은 비디오에서 그라운드된 주어-목적어 실현을 포착합니다. 완전하고 역할 일관성 있는 평가를 지원하기 위해 DualFact 는 암묵적 인자 증강 (VIA) 과 대조적 사실 집합을 포함합니다. 우리는 DualFact 를 두 가지 모드로 구현합니다: 텍스트 증거에 대한 사실 검증인 DualFact-T 와 비디오 그라운드된 시각적 증거에 대한 사실 검증인 DualFact-V 입니다. YouCook3-Fact 와 CraftBench-Fact 에서 수행한 실험 결과, 최첨단 다중모달 언어 모델은 유창하지만 종종 사실적으로 불완전한 캡셔션을 생성하며, 체계적인 누락과 역할 수준의 일관성 부재가 확인되었습니다. DualFact 는 표준 지표보다 인간의 사실성 판단과 더 강하게 상관관계가 있으며, 특히 문맥적 사실에 있어서 이를 잘 반영합니다. 또한 캡셔션만으로는 과대평가되는 환각 (hallucinations) 을 비디오 그라운드된 검증과 비교하여 드러냅니다. 전반적으로 DualFact 는 다중모달 사실 그라운딩의 지속적인 과제를 부각시키는 해석 가능하고 인간 정렬된 평가 프로토콜을 제공하며, 표면적인 유창성을 넘어선 확장 가능성을 보여줍니다.