ReAge3D: 시점 일관성을 유지하는 3D 얼굴 노화 재현 (Re-Aging)

우리는 매우 상세하고 정체성(identity)을 보존하는 결과를 생성하는, 사실적이고 제어 가능한 3D 얼굴 노화 재현 (re-aging)을 위한 새로운 프레임워크를 제시합니다. 기존의 3D 편집 (editing) 방법들은 거친 의미론적 변화 (semantic changes)에는 효과적이지만, 노화 재현에는 적합하지 않습니다. 노화된 2D 시점들 사이의 아주 작은 불일치만으로도 미세하지만 지각적으로 중요한 연령 관련 세부 사항들이 과도하게 매끄러워지는 (over-smoothing) 현상이 발생할 수 있기 때문입니다. 이 문제를 해결하기 위해, 우리는 먼저 합성된 이미지 쌍으로 학습된 2D 확산 기반 (diffusion-based) 노화 재현 모델인 DiffReaging을 소개합니다. 나아가, 우리는 이 노화 재현 모델을 활용하여 다중 시점 일관성 (multi-view-consistent)을 가진 노화된 이미지를 재구성하는 중심-외곽 편집 전파 (center-out editing propagation) 전략을 제안합니다. 구체적으로, 노화된 정면 피벗 뷰 (frontal pivot view)에서 시작하여, 워핑 (warping)과 우리가 제안하는 Masked-DiffReaging 프로세스를 통해 나머지 시점들을 재구성합니다. 확산 프로세스 (diffusion process)의 매 단계마다 기존 콘텐츠를 주입함으로써, Masked-DiffReaging은 재구성된 영역이 기존 픽셀들과 일관성을 유지하도록 보장합니다. 결과적으로 생성된 일관된 노화된 시점 세트는 노화된 3D 표현 (3D representation)의 최적화를 감독합니다. 우리의 방법은 시각적 및 정량적 측면 모두에서 기존 3D 편집 기술보다 뛰어난 성능을 보이며, 3D 얼굴 모델의 연령 변화에 대해 부드럽고 세밀한 제어를 가능하게 합니다.