긴 형식의 비디오(long-form video)에서 대부분의 프레임은 중복되지만, 핵심 정보는 시간적 놀라움(temporal surprises), 즉 실제 시각적 특징(visual features)이 예측된 진화(predicted evolution)로부터 벗어나는 순간에 존재합니다. 인간 뇌의 예측 코딩(predictive coding)에서 영감을 받아, 우리는 비디오 내에서 정보량이 높은 순간을 자동으로 식별하는 우아하고 별도의 학습이 필요 없는(training-free) 프레임 선택 알고리즘인 Swift Sampling을 소개합니다. 구체적으로, 우리는 비디오를 시각적 잠재 공간(visual latent space)에서의 미분 가능한 궤적(differentiable trajectory)으로 모델링하고, 특징들의 속도(velocity)와 가속도(acceleration)를 계산합니다. 그런 다음, 테일러 전개(Taylor expansion)를 적용하여 후속 프레임들의 예상 경로를 투영합니다. 이 예측된 매니폴드(predicted manifold)로부터 급격히 벗어나는 프레임들은 시간적으로 놀라운 프레임(temporally surprising frames)으로 식별되어 샘플링 대상으로 선택됩니다. 보조 네트워크(auxiliary networks)나 비디오 특화 하이퍼파라미터 튜닝(hyperparameter tuning)에 의존하는 기존의 training-free 방식들과 달리, Swift Sampling은 믿을 수 없을 정도로 가볍습니다. 베이스라인 대비 단 0.02배의 추가 연산 비용만을 추가하여, 선도적인 베이스라인들보다 오버헤드가 30배 더 저렴합니다. 세 가지 긴 비디오 질의응답(long-video question answering) 벤치마크와 10가지의 서로 다른 다운스트림 태스크(downstream tasks) 전반에서 Swift Sampling은 균등 샘플링(uniform sampling) 및 기존의 쿼리 불가지론적(query-agnostic) 베이스라인들을 능가합니다. 특히 프레임 예산이 제한된 긴 비디오에서 강력한 성능을 발휘하며, 정확도를 최대 +12.5포인트까지 향상시킵니다.