Seeing Fast and Slow: 비디오에서 시간의 흐름 학습하기

요약

본 논문은 비디오에서 '시간' 자체를 학습 가능한 시각적 개념으로 다루며, 영상의 재생 속도를 인식하고 조작하는 새로운 방법을 제시합니다. 자가 지도(self-supervised) 방식으로 시간 구조와 멀티모달 단서를 활용하여 속도 변화를 감지하고 재생 속도를 추정하는 모델을 개발했습니다. 이를 기반으로 고화질 슬로우 모션 데이터셋 구축, 특정 속도로 움직임을 생성하는 비디오 생성(speed-conditioned video generation), 그리고 저프레임/흐릿한 영상을 고해상도 프레임 시퀀스로 변환하는 시간 초해상화(temp

핵심 포인트

• 비디오에서 시간에 대한 인식과 제어는 기존 컴퓨터 비전 연구의 미흡했던 영역이었으며, 본 논문은 이를 핵심 주제로 다룹니다.
• 자가 지도 학습 방식을 활용하여 영상에 내재된 시간 구조와 멀티모달 단서를 이용해 속도 변화를 감지하고 재생 속도를 추정하는 모델을 개발했습니다.
• 새롭게 구축한 슬로우 모션 데이터셋은 일반 비디오보다 훨씬 풍부한 시간적 디테일을 담고 있어, 후속 연구의 기반이 됩니다.
• 시간 제어 능력을 통해 특정 속도로 움직임을 생성하거나 (speed-conditioned video generation), 저화질 영상을 고프레임으로 복원하는 시간 초해상화(temporal super-resolution)가 가능해졌습니다.