Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
미분 방정식 관점에서 확산 모델(Diffusion Models)의 수학적 원리를 설명하는 튜토리얼입니다. 순방향 ODE/SDE 과정부터 역시간 역학 유도, 스코어 매칭, 그리고 DDPM 및 DDIM과의 관계를 심도 있게 다룹니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기이 튜토리얼은 미분 방정식 (Differential Equations)의 관점에서 확산 모델 (Diffusion Models)을 전개합니다. 먼저 조건부 가우시안 순방향 과정 (Conditional Gaussian forward process)에서 시작하여, 이 경로가 상미분 방정식 (ODE) 표현과 확률 미분 방정식 (SDE) 표현을 모두 허용함을 보여줍니다. 데이터 분포에 대해 조건부 과정을 평균하면, 데이터 분포 $p_0=p_{\mathrm{data}}$를 가우시안 사전 분포 (Gaussian prior) $p_1=\mathcal{N}(0,I)$로 이동시키는 한계 순방향 ODE 및 SDE 공식이 도출됩니다. 다음으로 그에 상응하는 역시간 역학 (Reverse-time dynamics), 즉 역 SDE (Reverse SDE)와 역 확률 흐름 ODE (Reverse probability-flow ODE)를 유도하며, 이 둘은 모두 한계 스코어 (Marginal score) $\grad\log p_t(x)$에 의해 제어됩니다. 이는 스코어 추정 (Score estimation)을 위한 학습 목적 함수로 이어지며, 표준 노이즈 예측 (Noise-prediction) 목적 함수가 모델 파라미터와 무관한 가산 상수 (Additive constant)를 제외하면 스코어 매칭 (Score matching)과 동일함을 보여줍니다. 그런 다음 DPM-Solver를 포함하여 학습된 역학에 대한 샘플링 방법과, 분류기 가이드 (Classifier guidance) 및 분류기 프리 가이드 (Classifier-free guidance)를 통한 가이드 샘플링 (Guided sampling)에 대해 논의합니다. 마지막으로 DDPM 및 DDIM을 역 SDE/ODE 프레임워크와 비교하여, 이들이 동일한 학습 목적 함수를 공유하는 반면 DDPM 샘플링은 이산 역 SDE (Discrete reverse-SDE) 샘플링에 해당하고 DDIM 샘플링은 역 ODE (Reverse-ODE) 샘플링에 해당함을 보여줍니다.