생성형 머신러닝을 위한 확률 미분 방정식 입문: 변분적 관점
요약
생성형 머신러닝의 핵심인 확률 미분 방정식(SDE)과 포커-플랑크 방정식에 대한 이론적 입문을 다룹니다. 확산 모델, 스코어 매칭, 플로우 매칭을 변분적 관점에서 통합적으로 이해할 수 있는 수학적 프레임워크를 제공합니다.
핵심 포인트
- 확률 미분 방정식(SDE)을 통한 생성 모델링의 수학적 기초 설명
- 포커-플랑크 방정식을 이용한 확률 변수의 시간적 진화 분석
- 변분 하한(ELBO) 유도를 통한 다양한 생성 모델의 통합적 접근
- 확산 모델 및 플로우 매칭의 일반적인 변분적 매개변수화 비교
상미분 방정식(Ordinary Differential Equations)과 확률 미분 방정식(Stochastic Differential Equations)의 사용은 이미지, 비디오, 생체 분자 생성 등의 응용 분야를 포함하여 생성형 머신러닝(Generative Machine Learning) 분야에서 상당한 발전을 이끌어냈습니다. 본 논문은 미분 방정식, 이를 생성 모델링(Generative Modeling)에 사용하기 위한 확률적 프레임워크(Probabilistic Framework), 그리고 미분 방정식의 확률 변수(Stochastic Variables)의 주변 분포(Marginal Distribution)의 시간적 진화를 지배하는 포커-플랑크 방정식(Fokker--Planck equation)에 대한 자기 완결적이고 비형식적인 입문을 제공합니다. 로그 가능도(Log-likelihood)에 대한 변분 하한(Variational Lower Bound, ELBO)이 유도되며, 이는 확산 모델(Diffusion Models), 스코어 매칭(Score Matching), 그리고 플로우 매칭(Flow Matching)에 대한 논의를 위한 일반적인 출발점으로 사용됩니다. 이러한 모든 접근 방식은 가장 일반적인 변분적 접근 방식(Variational Approach)의 특정한 매개변수화(Parameterizations)로 간주될 수 있습니다. 서로 다른 매개변수화들을 비교하기 위해 1차원 밀도 모델링(One-dimensional Density Modeling) 문제가 간단한 예시로 사용됩니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기