Gaussian DDPM에서의 공분산 매칭(Covariance Matching)의 가치와 Lanczos Sampler

Gaussian DDPM (Denoising Diffusion Probabilistic Models)에서 핵심적인 오차 측정치는 정확한 역과정 체인(exact reverse chain)과 학습된 Gaussian 역과정(Gaussian reverse process) 사이의 경로 공간 KL 발산(path-space KL divergence)입니다. 이 수치는 최종 샘플뿐만 아니라 전체 역과정 궤적(reverse trajectory)을 섭동(perturb)시키는 classifier guidance와 같은 절차에서 특히 중요합니다. 기존의 분석들에 따르면, 표준적인 등방성 역공분산(isotropic reverse covariances)은 노이즈 제거 단계(denoising steps) $T$가 증가함에 따라 피할 수 없는 $Ω(1/T)$ 경로 KL 오차(path-KL error)를 겪습니다. 본 연구에서는 전체 사후 공분산(full posterior covariance)을 매칭함으로써 이 장벽을 깨뜨리고, 경로 KL을 $O(1/T^2)$로 줄여 차수(order) 측면에서의 개선을 이끌어냄을 보여줍니다. 전체 공분산 매칭을 실용적으로 만들기 위해, 우리는 Lanczos Gaussian sampler (LGS)를 도입합니다. LGS는 사후 평균(posterior mean)의 Jacobian-vector product를 통해 얻을 수 있는 공분산-벡터 곱(covariance-vector products)만을 사용하여 최적의 역공분산으로부터 샘플링하는, 별도의 학습이나 행렬 연산이 필요 없는(training-free, matrix-free) 방법입니다. LGS는 밀집 공분산(dense covariance) 저장과 보조 공분산 모델을 피할 수 있습니다. 우리는 LGS 근사 오차가 Lanczos 단계(Lanczos steps)의 수에 따라 지수적으로 감소함을 증명하며, 이때 각 Lanczos 단계는 단 한 번의 Jacobian-vector product를 요구합니다. 실험적으로, 단 세 번의 단계만 사용하더라도 표준 이미지 벤치마크 전반에서 OCM-DDPM을 포함한 강력한 대각 공분산(diagonal-covariance) 베이스라인들에 비해 샘플 품질을 향상시킵니다. 이는 전체 공분산 매칭이 이론적으로 가치 있을 뿐만 아니라, 빠른 DDPM 샘플링을 위해 실용적으로 접근 가능하다는 것을 확인시켜 줍니다.