Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
BodyReLux는 시간적 일관성을 유지하며 전신 비디오를 재조명하는 새로운 비디오 확산 기반 프레임워크입니다. 새로운 동적 퍼포먼스 캡처 방식과 조명 토큰화 기술을 통해 사실적인 조명 제어를 구현합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기인간의 퍼포먼스를 재조명 (Relight) 할 수 있는 능력은 포스트 프로덕션 (Post production) 및 콘텐츠 제작을 위한 근본적인 작업입니다. 우리는 전신 인간 퍼포먼스를 시간적으로 일관된 (Temporally consistent) 방식으로 재조명하기 위한 피사체 특화 비디오 확산 기반 (Video diffusion-based) 프레임워크인 BodyReLux를 제안합니다. 우리의 모델은 다양한 조명 조건, 퍼포먼스 및 시점의 조합을 아우르는 픽셀 정렬 비디오 재조명 쌍 (Pixel-aligned video relighting pairs)의 하이브리드 데이터셋으로 학습되었습니다. 이러한 데이터셋을 확보하기 위해, 우리는 전통적인 정적 OLAT (One-Light-at-a-Time) 캡처와 두 개의 부드럽게 변화하는 조명 시퀀스가 빠르게 교차되는 새로운 동적 퍼포먼스 캡처 방식을 결합했습니다. 조명이 인간의 눈 깜빡임 융합 임계값 (Flicker-fusion threshold) 이상에서 작동하기 때문에, 이러한 교차 방식은 스트로보 (Strobe) 현상처럼 보이지 않습니다. 우리는 고품질 비디오를 생성하기 위해 생성적 사전 지식 (Generative priors)을 완전히 활용할 수 있도록 사전 학습된 텍스트-비디오 (Text-to-video) 모델로부터 비디오 재조명 모델을 학습시킵니다. 정확한 조명 제어를 달성하기 위해, 우리는 각 광원을 토큰 (Token)으로 표현하는 새로운 조명 조건화 (Lighting conditioning) 방법을 도입합니다. 나아가 동적인 조명 제어를 지원하기 위해 마스크 어텐션 (Masked attention)을 사용하여 조명 시퀀스에 대한 조건화를 수행합니다. 정교하게 설계된 데이터 증강 (Data augmentation) 파이프라인과 결합하여, 우리는 피사체 특화 인간 퍼포먼스의 사실적이고 견고하며 시간적으로 일관된 비디오 재조명을 달성합니다.