분리된 잡음 데이터 다양체에서 확산 생성 모델의 시간 조건화 탐색

요약

본 연구는 확산 모델에서 시간 조건화의 필요성을 기하학적으로 재검토합니다. 전방 확산 과정 하에서 잡음 데이터 분포가 저차원 다양체 위에 집중하며, 성공적인 생성은 이 다양체의 분리(disentanglement)에 달려있음을 밝힙니다. 이를 바탕으로 DDIM의 전방 과정을 수정하여 시간 조건화 없이도 flow-matching 접근법과 정렬함으로써 고품질 콘텐츠 생성을 달성할 수 있음을 증명하고, 클래스-조건부 생성 프레임워크를 확장했습니다.

핵심 포인트

• 확산 모델 학습에서 명시적인 시간 조건화의 필요성에 대한 근본적인 의문을 제기합니다.
• 잡음 데이터 분포는 고차원 공간 내에 저차원 다양체(manifolds) 형태로 집중하며, 생성 성공은 이 다양체의 분리(disentanglement)에 기인합니다.
• DDIM의 전방 과정을 수정하여 잡음 다양체를 flow-matching 접근법과 정렬함으로써 시간 조건화 없이도 고품질 생성이 가능함을 입증했습니다.
• 클래스-무조건적 모델을 통해 클래스-조건부 합성으로 확장 가능한 새로운 프레임워크를 제시합니다.