Sparkle: Realizing Lively Instruction-Guided Video Background Replacement via

요약

본 논문은 자연어 명령에 따른 비디오 배경 교체(Background Replacement)의 어려움을 다루며, 기존 데이터셋들이 이 복잡한 작업을 충분히 지원하지 못했음을 지적합니다. 이에 연구진은 앞뒤 가이드를 분리하여 생성하는 확장 가능한 파이프라인을 설계하고, 이를 통해 140K 비디오 쌍을 포함하는 새로운 Sparkle 데이터셋과 평가 벤치마크인 Sparkle-Bench를 공개했습니다. 이로써 배경 교체 작업의 품질 저하 문제를 해결하고 기존 모델 대비 월등히 높은 성능을 입증했습니다.

핵심 포인트

• 배경 교체(Background Replacement)는 시간적 일관성과 정확한 상호작용 유지가 필수적이어서 데이터 생성이 매우 어렵다.
• 기존 오픈소스 데이터셋들은 배경 가이드의 부족으로 인해 품질이 낮고 비자연적인 결과를 초래한다.
• 연구진은 앞뒤 가이드를 분리하여 생성하는 확장 가능한 파이프라인을 개발했다.
• 새로운 Sparkle 데이터셋(140K 비디오 쌍)과 평가 벤치마크인 Sparkle-Bench를 공개하여 해당 분야의 표준을 제시했다.