InpaintSLat: 초기 노이즈 최적화를 통한 구조화된 3D latent 인페인팅

우리는 초기 노이즈 최적화를 기반으로 제어 가능한 3D 인페인팅을 위한 훈련 없는 (training-free) 접근법을 제시합니다. 구조화된 3D latent diffusion 프레임워크에서, 우리는 확산 과정의 초기 단계에 기하학적 구조가 확립되고 초기 노이즈에 매우 민감하다는 것을 관찰했습니다. 이러한 특성은 인페인팅 및 편집과 같은 작업에서 모델이 기존 컨텍스트와 엄격한 정렬을 유지하면서 새로운 구조를 합성해야 하는 경우 안정성을 해칩니다. 본 논문에서는 구조화된 3D latent diffusion 프레임워크 내에서 초기 노이즈를 최적화하는 전략을 소개하며, 이를 통해 고충실도 (high-fidelity) 3D 인페인팅을 보장합니다. 구체적으로, 우리는 정류 흐름 (rectified flow) 모델에 기반한 역전파 근사 (backpropagation approximation) 를 활용하여 초기 노이즈를 업데이트하고, 구조화된 3D latent 최적화를 위해 강건하고 효율적인 스펙트럴 파라미터화 (spectral parameterization) 를 특별히 설계했습니다. 실험 결과, 대표적 훈련 없는 인페인팅 베이스라인에 비해 컨텍스트 일관성과 프롬프트 정렬에서 일관된 개선이 입증되었으며, 초기 노이즈 제어를 3D 인페인팅의 독립적인 차원 (independent dimension) 으로 확립하고, 이는 전통적인 샘플링 경로 조작과 직교합니다.