확산 모델(Diffusion Models)을 이용한 제로샷 역문제(Zero-shot Inverse Problems)에서의 단계별 왜곡-지각 탐색

왜곡-지각 (Distortion-Perception, D-P) 트레이드오프(tradeoff)는 베이지안 역문제 (Bayesian inverse problems)의 근본적인 현상으로, 왜곡 성능 (distortion performance)과 지각 품질 (perceptual quality) 사이의 내재적인 긴장 관계를 특징짓습니다. 추론 (inference) 단계에서 D-P 트레이드오프를 유연하게 탐색할 수 있도록 하는 것은 실질적인 응용 분야에서 매우 중요합니다. 최근 제로샷 역문제 해결에 있어 확산 모델 (diffusion models)이 거둔 성공에도 불구하고, 확산 기반 역알고리즘 (diffusion-based inverse algorithms)에서 D-P 탐색을 위한 효율적이고 원칙적인 전략은 여전히 충분히 규명되지 않은 상태입니다. 본 논문에서는 제로샷 역문제에서 단일 확산 모델을 사용하여 D-P 탐색을 구현하기 위한 단계별 프레임워크를 제안합니다. MAP-RPS라고 명명된 우리의 제안 방법은 MMSE (Minimum Mean Square Error) 솔루션을 근사하고 낮은 왜곡의 초기값 (low-distortion initialization)을 제공하는 MAP (Maximum A Posteriori) 추정 단계로 시작하며, 이어서 지각 품질을 점진적으로 개선하는 재노이즈 후험 샘플링 (re-noised posterior sampling) 단계로 이어집니다. 우리는 두 단계 모두에 대한 이론적 분석을 제공하여 제안된 설계의 타당성과 효과를 입증합니다. 나아가, 우리는 MAP-RPS를 잠재 공간 (latent space)으로 확장하여 LMAP-RPS를 도출하였으며, 이는 대규모 사전 학습된 잠재 확산 백본 (pre-trained latent diffusion backbones)을 활용함으로써 더 넓은 적용성을 누립니다. 광범위한 실험을 통해 MAP-RPS와 LMAP-RPS가 다양한 작업에서 더욱 효과적인 D-P 탐색을 가능하게 함과 동시에, 실제 역문제에 대한 효율적인 솔버 (solvers)로서 강력한 성능을 보여줌을 입증합니다.