비디오 생성을 위한 확산 모델

과거 몇 년간 확산 모델 (Diffusion models) 은 이미지 합성 (image synthesis) 에서 뛰어난 성과를 보여왔습니다. 이제 연구 커뮤니티는 더 어려운 과제, 즉 이를 비디오 생성 (video generation) 에 활용하는 작업을 시작했습니다. 이 작업 자체는 이미지의 경우를 포함하는 상위 집합 (superset) 입니다. 왜냐하면 이미지는 1 프레임의 비디오이기 때문입니다. 또한 다음과 같은 이유로 훨씬 더 어렵습니다: 시간 축을 따른 프레임 간 일관성 (temporal consistency) 에 대한 추가적인 요구 사항이 있어, 자연스럽게 모델에 더 많은 세계 지식 (world knowledge) 을 인코딩해야 합니다. 텍스트나 이미지와 비교했을 때, 고차원 (high-dimensional) 의 고품질 비디오 데이터를 대량으로 수집하는 것은 물론 텍스트-비디오 쌍 (text-video pairs) 을 수집하는 것이 훨씬 더 어렵습니다. 🥑 필요한 사전 학습: 여기로 계속하기 전에 '이미지 생성을 위한 확산 모델이 무엇인가?'라는 이전 블로그를 반드시 읽으셨는지 확인하세요.