멀티모달 대규모 언어 모델(MLLMs)의 급속한 발전과 함께, 이들의 비디오 이해 능력을 평가하는 것이 점점 더 중요해지고 있습니다. 기존의 비디오 이해 벤치마크들은 평가 차원의 일부만을 다루고 있어, 전방위 모달 비디오 이해에 대한 체계적인 진단이 제한적입니다. 우리는 전방위 모달 비디오 접지(grounding) 및 이해를 위한 종합 벤치마크인 OmniCompass를 소개합니다. OmniCompass는 두 가지 평가 트랙을 정의합니다: OmniCompass-VL은 시각적 증거가 필요한 과제에 대해 비전-언어 모델(vision-language models)을 평가하며, OmniCompass-AV는 공동 오디오-비주얼 증거가 필요한 과제에 대해 전방위 모달 모델을 평가합니다. 각 트랙은 시간적 접지(temporal grounding, TG), 공간적 접지(spatial grounding, SG), 그리고 질의응답(question answering, QA)이라는 세 가지 보완적인 작업을 포함하며, 참조된 대상이 언제 나타나는지, 어디에 있는지, 그리고 무슨 일이 일어나는지를 평가합니다. QA는 OmniCompass-VL에서 다섯 가지 인식 및 세 가지 추론 범주를 다루며, OmniCompass-AV에서는 세 가지 인식 및 두 가지 추론 범주를 다룹니다. OmniCompass-VL은 도메인을 아우르는 820개의 비디오와 2,460개의 인스턴스로 구성되어 있으며, 짧음(short), 중간(medium), 김(long)의 세 가지 지속 시간 유형을 포함합니다. 서사적이고 오디오가 풍부한 하위 집합이 OmniCompass-AV를 형성하며, 여기에는 240개의 비디오와 720개의 인스턴스가 있습니다. 모든 인스턴스는 텍스트 전용(text-only)과 텍스트+이미지(text+image)의 두 쌍을 이루는 설정 하에서 평가되며, 이는 텍스트와 시각-언어 안내를 통해 동일한 대상을 지정합니다. 모든 인스턴스는 다중 라운드 품질 검증을 거쳐 수동으로 주석 처리되었습니다. 50개의 MLLMs에 대한 평가는 오픈 소스 모델들이 특히 오디오-비주얼 이해 측면에서 독점(proprietary) 모델들보다 여전히 뒤처진 모습을 보인다는 것을 보여줍니다. 정확한 시간적 및 공간적 접지는 선도적인 모델들에게조차 여전히 어려운 과제이며, 그들의 예측은 쌍을 이루는 대상 지정 전반에 걸쳐 불일치성을 나타냅니다.