Pop-Up Distractions가 Video Large Language Models (VLLMs)의 Bag-of-Events 동작 방식을 드러내다

최근 Video Large Language Models (VLLMs)는 비디오 이해 (Video Understanding) 분야에서 놀라운 발전을 보여주고 있습니다. 그러나 이러한 모델들이 비디오 내의 시간적 관계 (Temporal Relationships)를 실제로 이해하고 있는지, 아니면 단순히 비디오에 나타나는 사건들의 집합 (Bag-of-Events)을 처리하는 것인지에 대한 의문이 제기되고 있습니다.

본 논문에서는 모델의 시간적 추론 능력을 테스트하기 위해 'Pop-Up Distractions'라고 불리는 새로운 평가 방법론을 제안합니다. 이 방법론은 비디오의 핵심 맥락과 무관한 짧은 방해 요소 (Distractions)를 삽입하여, 모델이 사건의 순서와 인과 관계를 정확히 파악하는지 측정합니다.

우리의 실험 결과는 현재의 VLLMs가 비디오의 시간적 구조를 정교하게 이해하기보다는, 비디오 프레임에서 관찰되는 사건들의 집합 (Bag-of-Events)에 의존하여 답변을 생성하는 경향이 있음을 보여줍니다. 즉, 모델은 사건이 '언제' 일어났는지보다는 '무엇이' 일어났는지에 더 집중하는 모습을 보입니다.

이러한 발견은 향후 더욱 정교한 시간적 추론 (Temporal Reasoning) 능력을 갖춘 비디오 모델을 개발하기 위해 해결해야 할 중요한 과제를 제시합니다.