HAVEN 벤치마크, 유창성과 비디오 이해 사이의 MLLM 격차를 드러내다

HAVEN 벤치마크는 프레임(frame), 샷(shot), 비디오(video) 수준에 걸친 계층적 비디오 이해(hierarchical video understanding)를 통해 MLLM을 테스트합니다. 결과에 따르면 최상위 모델들은 유창한 텍스트 생성 능력에도 불구하고 근거 있는 멀티모달 추론(grounded multimodal reasoning) 능력이 부족한 것으로 나타났습니다. 연구자 Mengqi Shi와 Haopeng Zhang이 개발한 새로운 벤치마크인 HAVEN은 프레임, 샷, 비디오 수준의 계층적 비디오 이해를 통해 MLLM을 테스트합니다. 논문에 따르면 최상위 모델들은 유창한 텍스트 요약을 보여주지만, 근거 있는 멀티모달 추론에는 실패합니다.

주요 사실

• HAVEN은 프레임, 샷, 비디오 수준의 주석(annotation)을 포함합니다.
• 벤치마크에는 요약(summarization), 시간적 추론(temporal reasoning), 그라운딩(grounding), 돌출성(saliency)이 포함됩니다.
• 데이터셋, 벤치마크 스위트(benchmark suite), 평가 프로토콜이 공개됩니다.
• 저자: Mengqi Shi, Haopeng Zhang.
• 2026년 5월 19일 arXiv에 제출되었습니다.

기존의 비디오 요약 벤치마크는 키프레임(keyframes)이나 단절된 텍스트 요약과 같이 분리된 입도(granularities)로 모델을 평가하여, 교차 모달 정렬(cross-modal alignment)의 계층적 구조를 놓치고 있습니다. HAVEN은 [arXiv 프리프린트 2605.19223에 따르면] 프레임, 샷, 비디오 수준에서 비디오와 텍스트 간의 명시적이고 연속적인 정렬을 제공하는 완전한 입도(fully granular) 및 완전한 멀티모달 데이터셋 아키텍처를 통해 이 문제를 해결합니다. 벤치마크 스위트는 요약, 시간적 추론, 멀티모달 그라운딩(multimodal grounding) 및 돌출성 순위 지정(saliency ranking)을 아우릅니다. 저자들은 최첨단 멀티모달 거대 언어 모델(MLLMs)을 벤치마킹하였으며, 표면적인 텍스트 유창성과 근거 있는 멀티모달 이해 사이의 지속적인 격차를 발견했습니다. 일관된 서사적 요약을 생성하는 모델들이 정밀한 시간적 지역화(temporal localization)나 교차 모달 정렬을 요구하는 작업에서는 종종 실패하는 경우가 많습니다.

핵심 요약

• HAVEN 벤치마크는 프레임, 샷, 비디오 수준의 계층적 비디오 이해를 통해 MLLM을 테스트합니다.
• 결과에 따르면 최상위 모델들은 유창한 텍스트 생성에도 불구하고 근거 있는 멀티모달 추론 능력이 부족합니다.

이것이 중요한 이유
HAVEN은 언어적 사전 지식(language priors)과 진정한 비디오 이해를 종종 혼동하는 기존의 QA 기반 평가를 넘어섭니다.

이 벤치마크는 모델이 개별 프레임에서 전체 비디오에 이르기까지 계층적 수준(hierarchical levels)을 가로질러 추론하도록 요구함으로써, MLLM(Multimodal Large Language Models)이 비디오 구조를 진정으로 이해하는지, 아니면 단순히 시각적 단서로부터 그럴듯한 텍스트를 생성하는 것뿐인지를 테스트합니다. 이러한 구분은 시간적 정밀도(temporal precision)가 중요한 비디오 감시, 콘텐츠 모더레이션(content moderation), 자동 편집과 같은 응용 분야에서 매우 중요합니다.

공개 및 시사점
저자들은 데이터셋, 벤치마크 제품군 및 평가 프로토콜을 공개적으로 출시했습니다 [논문에 따라]. 이를 통해 연구 커뮤니티는 계층적 비디오 이해(hierarchical video understanding)에 대한 평가를 표준화할 수 있습니다. 확인된 격차는 현재의 MLLM이 강력한 멀티모달 그라운딩(multimodal grounding)보다는 언어 생성 능력에 크게 의존하고 있음을 시사하며, 이는 VAB(최상위 MLLM이 아름다움을 올바르게 판단하는 비율이 26.5%에 불과하다는 것을 발견함)와 같은 다른 최근 벤치마크의 연구 결과와 맥을 같이 합니다 [gentic.news에서 이전에 보도된 바와 같이].

주목할 점
HAVEN을 사용한 제3자 재현 연구, 특히 Google DeepMind 및 Meta의 팀에서 진행하는 연구를 주목하십시오. 만약 Gemini 2.0 Pro 또는 Llama 4와 같은 모델이 상당한 개선을 보여준다면, 이는 멀티모달 그라운딩의 진전을 의미합니다. 그렇지 않다면, 이 벤치마크는 근본적인 아키텍처의 한계를 드러낼 수도 있습니다.

원문은 gentic.news에 게시되었습니다.