USV: 사용자 생성 숏폼 비디오 이해를 향하여

최근 몇 년 동안 여러 대규모 비디오 데이터셋이 발표되었으며, 이는 비디오 이해 (Video Understanding) 분야를 발전시켜 왔습니다. 하지만 새롭게 등장한 사용자 생성 (User-generated) 숏폼 비디오는 거의 연구되지 않았습니다. 본 논문은 고수준의 의미론적 비디오 이해 (High-level semantic video understanding)를 위한 사용자 생성 숏폼 비디오 데이터셋인 USV를 제시합니다. 이 데이터셋은 별도의 수동 검증이나 트리밍 (Trimming) 없이 레이블 쿼리 (Label queries)를 통해 UGC 플랫폼에서 수집된 약 224K개의 비디오를 포함하고 있습니다. 비디오 이해 분야가 최근 몇 년간 상당한 개선을 이루었음에도 불구하고, 대부분의 연구는 인스턴스 수준의 인식 (Instance-level recognition)에 집중되어 있으며, 이는 비디오의 고수준 의미론적 정보의 표현 (Representation)을 학습하기에는 충분하지 않습니다. 따라서 우리는 USV를 바탕으로 주제 인식 (Topic recognition)과 비디오-텍스트 검색 (Video-text retrieval)이라는 두 가지 태스크를 추가로 설정하였습니다. 우리는 주제 인식 태스크와 비디오-텍스트 검색 태스크를 각각 해결하기 위해 통합적이고 효과적인 두 가지 베이스라인 방법인 다중 모달리티 융합 네트워크 (Multi-Modality Fusion Network, MMF-Net)와 비디오-텍스트 대조 학습 (Video-Text Contrastive Learning, VTCL)을 제안하며, 향후 연구를 촉진하기 위해 종합적인 벤치마크를 수행합니다. 우리의 프로젝트 페이지는 https://usvdataset.github.io 입니다.