VISTA: EgoVis 2026의 Ego4D 단기 객체 상호작용 예측(STA) 챌린지를 위한 기술 보고서

요약

VISTA는 EgoVis 2026의 Ego4D 단기 객체 상호작용 예측(STA) 챌린지에서 1위를 달성한 기술 보고서입니다. V-JEPA 2.1의 시계열 문맥과 Faster R-CNN의 공간 탐지 능력을 결합하여, 1인칭 시점 비디오에서 미래의 객체 상호작용을 정밀하게 예측합니다.

핵심 포인트

• V-JEPA 2.1의 동결된 시계열 분기를 활용하여 클립 수준의 1인칭 시점 문맥을 추출함
• Faster R-CNN ResNet-50 FPN을 통해 고해상도 프레임에서 객체 제안을 생성함
• 특징 변조 및 ROI 수준의 문맥 융합을 통해 공간 탐지와 시계열 정보를 결합함
• 경계 상자, 명사/동사 범주, 접촉 시간, 신뢰도 점수를 동시에 예측하는 멀티 헤드 구조를 채택함
• 앙상블 기법을 통해 예측의 강건성을 높여 챌린지 1위를 기록함