확산 이론 튜토리얼: 미분 방정식에서 확산 모델 (Diffusion Models)까지

이 튜토리얼은 미분 방정식 (Differential Equations)의 관점에서 확산 모델 (Diffusion Models)을 전개합니다. 먼저 조건부 가우시안 순방향 과정 (Conditional Gaussian forward process)에서 시작하여, 이 경로가 상미분 방정식 (ODE) 표현과 확률 미분 방정식 (SDE) 표현을 모두 허용함을 보여줍니다. 데이터 분포에 대해 조건부 과정을 평균하면, 데이터 분포 $p_0=p_{\mathrm{data}}$를 가우시안 사전 분포 (Gaussian prior) $p_1=\mathcal{N}(0,I)$로 이동시키는 한계 순방향 ODE 및 SDE 공식이 도출됩니다. 다음으로 그에 상응하는 역시간 역학 (Reverse-time dynamics), 즉 역 SDE (Reverse SDE)와 역 확률 흐름 ODE (Reverse probability-flow ODE)를 유도하며, 이 둘은 모두 한계 스코어 (Marginal score) $\grad\log p_t(x)$에 의해 제어됩니다. 이는 스코어 추정 (Score estimation)을 위한 학습 목적 함수로 이어지며, 표준 노이즈 예측 (Noise-prediction) 목적 함수가 모델 파라미터와 무관한 가산 상수 (Additive constant)를 제외하면 스코어 매칭 (Score matching)과 동일함을 보여줍니다. 그런 다음 DPM-Solver를 포함하여 학습된 역학에 대한 샘플링 방법과, 분류기 가이드 (Classifier guidance) 및 분류기 프리 가이드 (Classifier-free guidance)를 통한 가이드 샘플링 (Guided sampling)에 대해 논의합니다. 마지막으로 DDPM 및 DDIM을 역 SDE/ODE 프레임워크와 비교하여, 이들이 동일한 학습 목적 함수를 공유하는 반면 DDPM 샘플링은 이산 역 SDE (Discrete reverse-SDE) 샘플링에 해당하고 DDIM 샘플링은 역 ODE (Reverse-ODE) 샘플링에 해당함을 보여줍니다.