BodyReLux: 시간적 일관성을 유지하는 전신 비디오 재조명 (Full-Body Video Relighting)

인간의 퍼포먼스를 재조명 (Relight) 할 수 있는 능력은 포스트 프로덕션 (Post production) 및 콘텐츠 제작을 위한 근본적인 작업입니다. 우리는 전신 인간 퍼포먼스를 시간적으로 일관된 (Temporally consistent) 방식으로 재조명하기 위한 피사체 특화 비디오 확산 기반 (Video diffusion-based) 프레임워크인 BodyReLux를 제안합니다. 우리의 모델은 다양한 조명 조건, 퍼포먼스 및 시점의 조합을 아우르는 픽셀 정렬 비디오 재조명 쌍 (Pixel-aligned video relighting pairs)의 하이브리드 데이터셋으로 학습되었습니다. 이러한 데이터셋을 확보하기 위해, 우리는 전통적인 정적 OLAT (One-Light-at-a-Time) 캡처와 두 개의 부드럽게 변화하는 조명 시퀀스가 빠르게 교차되는 새로운 동적 퍼포먼스 캡처 방식을 결합했습니다. 조명이 인간의 눈 깜빡임 융합 임계값 (Flicker-fusion threshold) 이상에서 작동하기 때문에, 이러한 교차 방식은 스트로보 (Strobe) 현상처럼 보이지 않습니다. 우리는 고품질 비디오를 생성하기 위해 생성적 사전 지식 (Generative priors)을 완전히 활용할 수 있도록 사전 학습된 텍스트-비디오 (Text-to-video) 모델로부터 비디오 재조명 모델을 학습시킵니다. 정확한 조명 제어를 달성하기 위해, 우리는 각 광원을 토큰 (Token)으로 표현하는 새로운 조명 조건화 (Lighting conditioning) 방법을 도입합니다. 나아가 동적인 조명 제어를 지원하기 위해 마스크 어텐션 (Masked attention)을 사용하여 조명 시퀀스에 대한 조건화를 수행합니다. 정교하게 설계된 데이터 증강 (Data augmentation) 파이프라인과 결합하여, 우리는 피사체 특화 인간 퍼포먼스의 사실적이고 견고하며 시간적으로 일관된 비디오 재조명을 달성합니다.