강건한 사전 확률 업데이트를 통한 역문제 해결을 위한 환각 인지 확산 샘플링

확산(Diffusion) 기반의 역문제(inverse problem) 해결사들은 사실적인 재구성(reconstruction)을 생성할 수 있지만, 사실성만으로는 복원된 세부 사항이 측정값(measurement)에 의해 뒷받침된다는 것을 보장하지 않습니다. 우리는 이러한 실패를 측정 조건부 환각(measurement-conditioned hallucination)으로 연구합니다. 즉, 시각적으로는 의미가 있지만 측정된 인스턴스와 일치하지 않거나 타당하지 않은 콘텐츠를 의미합니다. 우리의 분석은 베이즈 규칙(Bayes-rule) 기반의 확산 역문제 해결사를 사전 확률 업데이트(prior update) 단계와 측정 조건부(measurement-conditioning) 단계로 분리하며, 환각된 콘텐츠가 측정 보정이 적용되기 전 사전 확률 측면의 제안(proposal)을 통해 유입될 수 있음을 보여줍니다. 이러한 관점에 착안하여, 우리는 확산 사전 확률 업데이트의 국소적 안정성(local stability)을 조사하고, 결과로 발생하는 변위(displacement)를 현재 반복(iterate) 단계에서 다시 고정(re-anchor)하며, 측정 업데이트는 변경하지 않는 솔버 수준의 모듈인 강건한 사전 확률 업데이트(Robust Prior Update, RPU)를 제안합니다. 우리는 DPS에서 RPU를 구현하였으며, 자동화된 지표와 인간 충실도(human faithfulness) 연구를 사용하여 FFHQ 및 ImageNet 역문제에 대해 평가하였습니다. FFHQ의 경우, RPU는 박스 인페인팅(box inpainting), 가우시안 디블러링(Gaussian deblurring), 모션 디블러링(motion deblurring) 전반에서 DPS 대비 PSNR과 LPIPS를 개선합니다. 인간 평가에서 RPU는 FFHQ 박스 인페인팅에 대해 블라인드 비동률 다수 선호도(blind non-tie majority preferences)의 91.9%, 정답 보조 비동률 선호도(ground-truth-assisted non-tie preferences)의 91.1%를 기록했습니다. 반면 ImageNet 가우시안 판독 연구(Gaussian reader study)는 무승부(tie)가 많았으나, 무승부가 아닌 경우 RPU를 선호했습니다. 이러한 결과는 다음과 같은 타겟팅된 주장을 뒷받침합니다: 사전 확률 업데이트를 강건하게 만드는 것은 확산 역문제 해결사에서 인스턴스 충실도(instance faithfulness)를 향상시킬 수 있으며, 특히 사전 확률이 약하게 제약된 콘텐츠를 형성할 때 더욱 그러합니다.