RefDecoder: 조건부 비디오 디코딩을 통한 시각적 생성 능력 향상

요약

본 논문은 기존 잠재 확산 모델의 디코더가 조건부 정보 없이 작동하는 구조적 비대칭성 문제를 지적하고, 이를 해결하기 위해 RefDecoder를 제안합니다. RefDecoder는 참조 어텐션 메커니즘을 사용하여 고충실도 참조 이미지 신호를 디코딩 과정에 직접 주입함으로써 구조적 무결성을 보존합니다. 이 모델은 다양한 기존 비디오 생성 시스템에 추가 미세 조정 없이 통합 가능하며, 여러 벤치마크에서 높은 성능 향상을 입증했습니다.

핵심 포인트

• 기존 잠재 확산 모델의 디코더는 조건부 정보가 부족하여 디테일 손실 및 불일치를 초래하는 구조적 비대칭성이 존재한다.
• RefDecoder는 참조 어텐션(reference attention)을 활용하여 고충실도 참조 이미지 신호를 디코딩 과정에 직접 주입한다.
• 이 방법은 추가적인 미세 조정 없이 기존의 다양한 비디오 생성 시스템에 쉽게 통합될 수 있다.
• Inter4K, WebVid 등 여러 벤치마크에서 무조건부 베이스라인 대비 최대 +2.1dB PSNR 향상을 달성했다.
• 피사체 및 배경 일관성 측면에서 전반적인 품질 향상을 보여 스타일 전이 및 비디오 편집 정교화에도 활용 가능하다.