Radiance Fields를 통한 조명 일관성이 유지되는 객체 전이

3D Gaussian Splatting (3DGS)은 실제 장면을 캡처하고 렌더링하는 데 널리 사용됩니다. 한 캡처에서 가져온 객체를 다른 장면으로 합성하는 것은 VFX, 건축 및 인테리어 디자인, 또는 마케팅과 같은 많은 분야에서 응용됩니다. 그러나 소스 장면(source scene)에서 객체를 추출하여 타겟 장면(target scene)에 단순히 붙여넣는 방식은 두 장면 사이의 서로 다른 조명 조건(lighting conditions)으로 인해 현실적인 결과를 생성하는 데 실패하게 됩니다. 이 문제를 해결하기 위해, 우리는 조명이 일치하지 않는 단순 합성 이미지들을 조화롭게 만드는 확산 모델(diffusion model)을 소개합니다. 이 모델은 합성(synthetic), 생성(generated), 그리고 실제(real) 데이터를 결합한 이미지 쌍(일치하지 않는 합성 입력, 일치하는 출력)의 이질적인 데이터셋(heterogeneous dataset)으로 학습됩니다. 우리의 완전한 3D 솔루션은 사용자가 소스 장면에서 객체를 추출하여 타겟 장면으로 합성할 수 있게 합니다. 이를 통해 합성된 객체가 포함된 타겟 장면의 (일치하지 않는) 뷰(views)들이 렌더링됩니다. 우리의 확산 모델은 이러한 각 뷰를 조화롭게 만들며, 이들은 최종적으로 사후 최적화(post-optimization) 단계를 거쳐 3DGS 표현(representation)으로 통합됩니다. 우리의 방법은 시각적으로 설득력 있는 결과를 제공하여, 3DGS 간의 객체 전이를 사용하기 쉽게 만들고 이전 방법들에 비해 품질을 크게 향상시킵니다.