Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
비디오 언어 모델(VLM)이 이벤트 횟수와 빈도에 따라 겪는 시간적 추론 실패를 분석한 연구입니다. 트레이스 기반 프로파일링을 통해 모델이 단순한 정답 맞추기를 넘어 실제 이벤트의 시퀀스를 정확히 복구하지 못하는 한계를 진단합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기실제 세계의 비디오 벤치마크(video benchmarks)는 폭넓은 범위를 제공하지만, 고정된 클립들은 이벤트 횟수, 속도, 지속 시간 및 시각적 복잡성이 서로 얽혀 있어 실패 모드(failure modes)를 분리하기 어렵게 만듭니다. 기존의 프로그래밍 방식 벤치마크는 더 나은 제어력을 제공하지만, 실행 가능한 정답(ground truth)에 대해 보고된 이벤트를 감사하기보다는 최종 답변에 대해서만 점수를 매깁니다. 이러한 격차를 해소하기 위해, 우리는 세 가지 제어된 비디오 작업인 공 튀기기 벽 접촉(bouncing-ball wall contacts), 시각적 깜빡임(visual blinks), 그리고 범주형 상태 전이(categorical state transitions)에서의 이벤트 카운팅을 위한 트레이스 기반 파라메트릭 프로파일링(trace-grounded parametric profiling)을 도입합니다. 2,190개의 비디오에 걸쳐, 우리는 렌더링을 고정시킨 채 이벤트 횟수 N과 빈도 F를 변화시킵니다. 각 비디오에는 능력 표면 추정(capability-surface estimation) 및 타임스탬프 수준의 평가를 위한 실행 가능한 이벤트 트레이스(event trace)가 포함되어 있습니다. 우리의 결과는 단계적인 시간적 실패(staged temporal failure)를 보여줍니다. 80% 신뢰도 임계값에서, Gemini 3.6 Flash는 0.5 및 1.0 Hz에서 최대 12개의 지속적인 상태 전이를 안정적으로 카운팅하지만, 일시적인 깜빡임 이벤트에 대해서는 신뢰할 수 있는 양수 카운트 영역을 전혀 보여주지 못합니다. 따라서 이벤트 표현(event representation)은 모델이 초기에 증거에 접근할 수 있는지 여부를 결정하며, 이는 횟수와 빈도가 증가함에 따라 심화되는 한계입니다. 높은 횟수와 높은 빈도 영역에서는 최종 카운트의 0.2%만이 정확하며, 모델은 실제 이벤트의 단 18.1%만을 복구합니다. 시각적 접근이 주요 병목 현상인지 테스트하기 위해 샘플링 속도(sampling rate)를 높였습니다. 이를 통해 Bounce Ball의 정확도가 19.6%에서 29.3%로 상승했지만, 보고된 시퀀스가 정답과 일치하는 경우는 3.7%에 불과했습니다. 따라서 추가 프레임은 충실한 이벤트 복구를 생성하지 못한 채 최종 점수만 부풀릴 수 있습니다. 서로 다른 프롬프팅 전략(prompting strategies)도 유사하게 제한적인 이득만을 가져오며, 실제 세계의 비디오 평가에서도 낮은 이벤트 횟수에서 성공이 집중되는 동일한 현상이 나타납니다. 궁극적으로, 트레이스 기반 프로파일링은 비디오 평가를 총체적인 정확도 지표에서 시간적 추론이 실패하는 지점에 대한 상세한 진단으로 전환합니다.