Gaussian DDPM에서의 공분산 매칭(Covariance Matching)의 가치와 Lanczos Sampler

요약

Gaussian DDPM에서 경로 KL 발산을 줄이기 위해 전체 사후 공분산을 매칭하는 기법을 제안합니다. Lanczos Gaussian Sampler(LGS)를 통해 추가 학습 없이도 효율적인 샘플링이 가능하며, 기존 방식보다 높은 샘플 품질을 달성합니다.

핵심 포인트

• 전체 공분산 매칭을 통해 경로 KL 오차를 $O(1/T^2)$로 개선
• Lanczos Gaussian Sampler(LGS)를 통한 matrix-free 샘플링 구현
• 추가 학습이나 행렬 연산 없이 Jacobian-vector product만 활용
• 표준 이미지 벤치마크에서 기존 대각 공분산 모델 대비 성능 향상