역문제(Inverse Problems)를 위한 일관성 정규화된 그래디언트 흐름 (Consistency Regularised Gradient
요약
본 논문은 Vision-Language Latent Diffusion Models(LDMs)를 활용하여 역문제(Inverse Problems)를 해결하기 위한 새로운 프레임워크를 제안합니다. 기존 LDM 기반 방법들이 높은 계산 비용과 복잡한 구조를 가졌던 단점을 개선하여, 사후 확률 샘플링과 프롬프트 최적화를 잠재 공간에서 하나의 흐름으로 통합했습니다. 이 새로운 유클리드-바서슈타인-2 그래디언트 흐름은 오토인코더 역전파 없이도 낮은 신경 함수 평가(NFE)로 높은 성능을 달성하여 효율성을 크게 향상시킵니다.
핵심 포인트
- LDMs를 활용한 역문제 해결에 새로운 통합 프레임워크를 제안함.
- 사후 확률 샘플링과 프롬프트 최적화를 잠재 공간에서 단일 흐름(single flow)으로 공동 수행함.
- 유클리드-바서슈타인-2 그래디언트 흐름을 사용하여 오토인코더 역전파 없이도 구현 가능함.
- 기존 방식 대비 계산 비용을 현저히 줄이면서 최첨단 성능(state-of-the-art performance)을 달성함.
Vision-Language Latent Diffusion Models (LDMs) (Rombach et al., 2022)는 역문제에 강력한 생성적 사전 지식(generative priors)을 제공합니다. 하지만 기존 LDM 기반의 역 문제 해결사들은 일반적으로 많은 수의 신경 함수 평가(neural function evaluations, NFEs)와 대규모 사전 학습된 구성 요소(pretrained components)를 통한 역전파(backpropagation)를 필요로 하며, 이는 상당한 계산 비용과 경우에 따라 저하된 재구성 품질을 초래합니다. 우리는 사후 확률 샘플링(posterior sampling)과 프롬프트 최적화(prompt optimization)를 잠재 공간(latent space)에서 단일 흐름(single flow)으로 공동 수행하는 통합 유클리드-바서슈타인-2 그래디언트 흐름(Euclidean-Wasserstein-2 gradient-flow) 프레임워크를 제안합니다. 몇 단계의 잠재 텍스트-이미지 모델과 결합된 이 공식화는 오토인코더(autoencoders)를 통한 역전파 없이 저 NFE 추론을 가능하게 합니다. 여러 표준 영상 역 문제에 걸친 실험 결과, 저희 방법은 현저히 감소된 계산 비용으로 최첨단 성능을 달성하는 것을 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기