Normalizing Trajectory Models
요약
Normalizing Trajectory Models (NTM)는 확산 기반 모델의 샘플링 과정에서 발생하는 우도(likelihood) 손실 문제를 해결하기 위해 제안된 새로운 프레임워크입니다. 기존 방법들이 증류나 일관성 훈련을 통해 소수 단계로 압축하는 과정에서 정확한 우도 학습 능력을 포기했던 것과 달리, NTM은 각 역방향 단계를 표현력 있는 조건부 정규화 흐름(conditional normalizing flow)으로 모델링합니다. 이를 통해 확산 모델의 생성 과정을 유지하면서도 이론적으로 정확하고 높은 우도를 갖는 샘플링이 가능하게 합니다.
핵심 포인트
- NTM은 확산 기반 모델의 샘플링 과정에서 발생하는 우도(likelihood) 손실 문제를 해결하는 것을 목표로 합니다.
- 기존 소수 단계 방법들은 증류나 일관성 훈련을 사용하지만, 이 과정에서 정확한 우도 프레임워크를 희생합니다.
- NTM은 각 역방향 단계를 조건부 정규화 흐름(conditional normalizing flow)으로 모델링하여 높은 표현력과 이론적 정확성을 확보합니다.
- 이 접근 방식은 확산 모델의 생성 과정의 장점을 유지하면서도 우도 기반의 엄밀한 학습을 가능하게 합니다.
확산 기반 모델(Diffusion-based models)은 샘플링을 많은 작은 가우시안 노이즈 제거 단계로 분해합니다. 이는 생성 과정이 몇 개의 거친 전환(coarse transitions)으로 압축될 때 깨지는 가정입니다. 기존의 소수 단계 방법들(few-step methods)은 증류(distillation), 일관성 훈련(consistency training), 또는 적대적 목적 함수(adversarial objectives)를 통해 이를 해결하지만, 이 과정에서 우도(likelihood) 프레임워크를 희생합니다. 우리는 각 역방향 단계를 정확한 우도 학습을 갖는 표현력 있는 조건부 정규화 흐름(conditional normalizing flow)으로 모델링하는 Normalizing Trajectory Models (NTM)을 소개합니다. 구조적으로 NTM은 얕은 가역적
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기