역문제(Inverse Problems)를 위한 일관성 정규화된 그래디언트 흐름 (Consistency Regularised Gradient

Vision-Language Latent Diffusion Models (LDMs) (Rombach et al., 2022)는 역문제에 강력한 생성적 사전 지식(generative priors)을 제공합니다. 하지만 기존 LDM 기반의 역 문제 해결사들은 일반적으로 많은 수의 신경 함수 평가(neural function evaluations, NFEs)와 대규모 사전 학습된 구성 요소(pretrained components)를 통한 역전파(backpropagation)를 필요로 하며, 이는 상당한 계산 비용과 경우에 따라 저하된 재구성 품질을 초래합니다. 우리는 사후 확률 샘플링(posterior sampling)과 프롬프트 최적화(prompt optimization)를 잠재 공간(latent space)에서 단일 흐름(single flow)으로 공동 수행하는 통합 유클리드-바서슈타인-2 그래디언트 흐름(Euclidean-Wasserstein-2 gradient-flow) 프레임워크를 제안합니다. 몇 단계의 잠재 텍스트-이미지 모델과 결합된 이 공식화는 오토인코더(autoencoders)를 통한 역전파 없이 저 NFE 추론을 가능하게 합니다. 여러 표준 영상 역 문제에 걸친 실험 결과, 저희 방법은 현저히 감소된 계산 비용으로 최첨단 성능을 달성하는 것을 보여줍니다.