TransVLM: 임의의 컷 전환을 탐지하기 위한 비전-언어 프레임워크 및 벤치마크

요약

본 논문은 기존 샷 경계 탐지(SBD)의 한계를 극복하고, 전환의 연속적인 시간적 구분을 명시적으로 포착하는 '샷 전환 탐지(STD)' 작업을 공식화했습니다. 이를 위해 광유동을 운동 사전 지식으로 통합한 비전-언어 모델 프레임워크인 TransVLM을 제안합니다. TransVLM은 색상 및 운동 정보를 직접 처리하여 시간적 인식을 크게 향상시키며, 합성 데이터 엔진과 포괄적인 벤치마크를 통해 높은 성능을 입증했습니다.

핵심 포인트

• 전통적인 SBD의 한계를 극복하기 위해 '샷 전환 탐지(STD)'라는 새로운 작업을 정의하고 공식화함.
• 제안된 TransVLM은 광유동(optical flow)을 운동 사전 지식으로 명시적으로 주입하여 시간적 인식을 강화함.
• TransVLM은 색상 및 운동 표현이 연결된 데이터를 효율적으로 처리하며, 추가적인 시각 토큰 오버헤드를 최소화함.
• 견고한 학습을 위해 다양한 전환 비디오를 합성하는 확장 가능한 데이터 엔진과 포괄적인 벤치마크를 구축함.
• 광범위한 실험 결과, TransVLM은 기존의 휴리스틱 방법, 시공간 네트워크, 최상위 VLM들을 모두 능가하는 성능을 보임.