InpaintSLat: 초기 노이즈 최적화를 통한 구조화된 3D latent 인페인팅

요약

본 논문은 초기 노이즈 최적화를 통해 구조화된 3D latent 공간에서 제어 가능한 훈련 없는(training-free) 3D 인페인팅 접근법을 제시합니다. 연구진은 확산 과정의 초기 단계에 기하학적 구조가 형성되고 초기 노이즈가 매우 민감하다는 점에 착안하여, 이를 최적화하는 새로운 전략을 도입했습니다. 이 방법은 정류 흐름 기반 역전파 근사 및 특수 설계된 스펙트럴 파라미터화를 활용하여 고충실도의 3D 인페인팅 성능을 달성하며, 기존 방식과 차별화되는 독립적인 제어 메커니즘을 제공합니다.

핵심 포인트

• 초기 노이즈 최적화(Initial Noise Optimization)를 통해 구조화된 3D latent 공간에서 안정적인 인페인팅을 구현했습니다.
• 정류 흐름(Rectified Flow) 모델 기반의 역전파 근사 기법을 활용하여 초기 노이즈를 효과적으로 업데이트합니다.
• 구조적 일관성을 유지하기 위해 강건하고 효율적인 스펙트럴 파라미터화(Spectral Parameterization)를 설계했습니다.
• 제안된 방법은 3D 인페인팅의 독립적인 제어 차원을 확립하여, 기존 샘플링 경로 조작 방식과 직교하는 새로운 접근 방식을 제시합니다.