시간 길이의 비디오에서 자연어 시간 기반 검색 문제: 벤치마크 및 경험적 분해

요약

본 논문은 장편 비디오에 대한 자연어 시간 기반 검색 문제를 다루며, 기존 연구가 짧은 영상에 국한되었음을 지적합니다. 저자들은 Video-LLM의 병목 현상이 위치 지정이 아닌 관련 영역 '검색' 문제에 있음을 밝히고, 이를 테스트하기 위해 ExtremeWhenBench라는 새로운 벤치마크를 공개했습니다.

핵심 포인트

• 장편 비디오 시간 기반 검색은 아직 충분히 탐구되지 않은 분야입니다.
• Video-LLM의 성능 병목 현상은 위치 지정보다 '검색' 문제에 기인합니다.
• 새로운 벤치마크 ExtremeWhenBench를 공개하여 연구 환경을 제공했습니다.
• 검색 후 접지(Retrieval-Augmented) 하이브리드 방식이 단일 Video-LLM보다 월등히 높은 성능을 보였습니다.