비디오 객체 중심 학습의 시간적 일관성 재고찰: 예측에서 대응으로

요약

본 논문은 비디오 객체 중심 학습(Video Object-Centric Learning)의 기존 접근 방식이 미래 객체 표현을 예측하는 데 의존하여 시간적 일관성을 유지하는 한계를 지적합니다. 연구진은 이러한 예측자가 사실상 이산적인 대응 문제에 대한 비용이 많이 드는 근사치임을 증명하며, 대신 현대 컴퓨터 비전 백본에서 추출된 인스턴스 판별적 특징을 활용할 것을 제안합니다. 그 결과, 학습 가능한 시간 모델링 파라미터를 제거하고 결정론적 쌍분 매칭(deterministic bipartite matching) 기반의 Grounded Correspondence 프레임워크를 도입하여 높은 성능과 효율성을 달성했습니다.

핵심 포인트

• 기존 비디오 객체 중심 학습은 미래 상태 예측에 의존하는 시간적 일관성 유지 방식의 한계를 가집니다.
• 제안된 Grounded Correspondence 프레임워크는 학습 가능한 시간 모델링 파라미터를 0개로 설정하여 효율성을 극대화합니다.
• 객체 간 동일성(frame-to-frame identity) 유지를 위해 결정론적 쌍분 매칭(deterministic bipartite matching)을 사용합니다.
• 이 방법은 기존의 복잡한 시간 예측 모델 없이도 MOVi-D, MOVi-E 등 주요 벤치마크에서 경쟁력 있는 성능을 보여줍니다.