InpaintSLat: 초기 노이즈 최적화를 통한 구조화된 3D latent 인페인팅
요약
본 논문은 초기 노이즈 최적화를 통해 구조화된 3D latent 공간에서 제어 가능한 훈련 없는(training-free) 3D 인페인팅 접근법을 제시합니다. 연구진은 확산 과정의 초기 단계에 기하학적 구조가 형성되고 초기 노이즈가 매우 민감하다는 점에 착안하여, 이를 최적화하는 새로운 전략을 도입했습니다. 이 방법은 정류 흐름 기반 역전파 근사 및 특수 설계된 스펙트럴 파라미터화를 활용하여 고충실도의 3D 인페인팅 성능을 달성하며, 기존 방식과 차별화되는 독립적인 제어 메커니즘을 제공합니다.
핵심 포인트
- 초기 노이즈 최적화(Initial Noise Optimization)를 통해 구조화된 3D latent 공간에서 안정적인 인페인팅을 구현했습니다.
- 정류 흐름(Rectified Flow) 모델 기반의 역전파 근사 기법을 활용하여 초기 노이즈를 효과적으로 업데이트합니다.
- 구조적 일관성을 유지하기 위해 강건하고 효율적인 스펙트럴 파라미터화(Spectral Parameterization)를 설계했습니다.
- 제안된 방법은 3D 인페인팅의 독립적인 제어 차원을 확립하여, 기존 샘플링 경로 조작 방식과 직교하는 새로운 접근 방식을 제시합니다.
우리는 초기 노이즈 최적화를 기반으로 제어 가능한 3D 인페인팅을 위한 훈련 없는 (training-free) 접근법을 제시합니다. 구조화된 3D latent diffusion 프레임워크에서, 우리는 확산 과정의 초기 단계에 기하학적 구조가 확립되고 초기 노이즈에 매우 민감하다는 것을 관찰했습니다. 이러한 특성은 인페인팅 및 편집과 같은 작업에서 모델이 기존 컨텍스트와 엄격한 정렬을 유지하면서 새로운 구조를 합성해야 하는 경우 안정성을 해칩니다. 본 논문에서는 구조화된 3D latent diffusion 프레임워크 내에서 초기 노이즈를 최적화하는 전략을 소개하며, 이를 통해 고충실도 (high-fidelity) 3D 인페인팅을 보장합니다. 구체적으로, 우리는 정류 흐름 (rectified flow) 모델에 기반한 역전파 근사 (backpropagation approximation) 를 활용하여 초기 노이즈를 업데이트하고, 구조화된 3D latent 최적화를 위해 강건하고 효율적인 스펙트럴 파라미터화 (spectral parameterization) 를 특별히 설계했습니다. 실험 결과, 대표적 훈련 없는 인페인팅 베이스라인에 비해 컨텍스트 일관성과 프롬프트 정렬에서 일관된 개선이 입증되었으며, 초기 노이즈 제어를 3D 인페인팅의 독립적인 차원 (independent dimension) 으로 확립하고, 이는 전통적인 샘플링 경로 조작과 직교합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기