명시적 대응 관계를 통한 일관된 비디오-투-비디오 변환

요약

실시간 비디오-투-비디오 변환은 장거리 시간적 일관성 유지에 어려움이 있습니다. 본 연구는 명시적인 대응 관계(correspondence) 기반의 vid2vid-long을 제안합니다. 이는 패치 레벨 대응 관계와 크로스-어텐션을 활용하여, 생성 품질과 실시간 성능을 유지하면서 장거리 시간적 일관성을 지속적으로 개선했습니다.

핵심 포인트

• 기존 방법은 고정 길이의 인과 윈도우 제한으로 장거리 일관성이 부족함.
• vid2vid-long은 명시적인 대응 관계 기반 접근 방식을 채택하여 문제를 해결.
• 패치 레벨 대응 관계와 크로스-어텐션으로 모델에 조건화하여 일관성을 확보.
• 생성 품질과 실시간 성능을 유지하며 시간적 일관성이 개선됨.