Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Swift Sampling은 테일러 급수를 활용해 비디오 내 정보량이 높은 '시간적 놀라움' 프레임을 식별하는 학습이 필요 없는 알고리즘입니다. 시각적 궤적의 속도와 가속도를 계산하여 예측 경로를 벗어나는 프레임을 효율적으로 추출합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기긴 형식의 비디오(long-form video)에서 대부분의 프레임은 중복되지만, 핵심 정보는 시간적 놀라움(temporal surprises), 즉 실제 시각적 특징(visual features)이 예측된 진화(predicted evolution)로부터 벗어나는 순간에 존재합니다. 인간 뇌의 예측 코딩(predictive coding)에서 영감을 받아, 우리는 비디오 내에서 정보량이 높은 순간을 자동으로 식별하는 우아하고 별도의 학습이 필요 없는(training-free) 프레임 선택 알고리즘인 Swift Sampling을 소개합니다. 구체적으로, 우리는 비디오를 시각적 잠재 공간(visual latent space)에서의 미분 가능한 궤적(differentiable trajectory)으로 모델링하고, 특징들의 속도(velocity)와 가속도(acceleration)를 계산합니다. 그런 다음, 테일러 전개(Taylor expansion)를 적용하여 후속 프레임들의 예상 경로를 투영합니다. 이 예측된 매니폴드(predicted manifold)로부터 급격히 벗어나는 프레임들은 시간적으로 놀라운 프레임(temporally surprising frames)으로 식별되어 샘플링 대상으로 선택됩니다. 보조 네트워크(auxiliary networks)나 비디오 특화 하이퍼파라미터 튜닝(hyperparameter tuning)에 의존하는 기존의 training-free 방식들과 달리, Swift Sampling은 믿을 수 없을 정도로 가볍습니다. 베이스라인 대비 단 0.02배의 추가 연산 비용만을 추가하여, 선도적인 베이스라인들보다 오버헤드가 30배 더 저렴합니다. 세 가지 긴 비디오 질의응답(long-video question answering) 벤치마크와 10가지의 서로 다른 다운스트림 태스크(downstream tasks) 전반에서 Swift Sampling은 균등 샘플링(uniform sampling) 및 기존의 쿼리 불가지론적(query-agnostic) 베이스라인들을 능가합니다. 특히 프레임 예산이 제한된 긴 비디오에서 강력한 성능을 발휘하며, 정확도를 최대 +12.5포인트까지 향상시킵니다.