생성형 애니메이션: 프롬프트 기반 모션 합성을 위한 멀티 모델 파이프라인

애니메이션은 디지털 문서를 몰입형 경험으로 격상시키지만, 맞춤형 모션 경로(motion paths)를 생성하는 과정은 여전히 번거롭습니다. 디자이너는 프리셋을 수동으로 선택하고, 베지에 점(Bézier points)을 찍으며, 타이밍 속성(timing properties)을 설정해야 합니다. 우리는 자연어 프롬프트(natural language prompts)를 제작 가능한 수준의 애니메이션으로 변환하는 시스템인 Generative Animations를 소개합니다. 의미론적 파싱(semantic parsing)을 위한 대규모 언어 모델(LLMs)과 시각적 그라운딩(visual grounding)을 위한 Segment Anything Model (SAM)을 체이닝(chaining)함으로써, 우리의 파이프라인은 장면의 기하학적 구조(scene geometry)를 준수하고, 깊이 기반의 폐쇄(depth-based occlusions)를 처리하며, 3D 투영 변환(3D perspective transforms)을 반영하는 모션 경로를 자동으로 생성합니다. 우리는 세 가지 사용 사례를 통해 시스템을 입증합니다: 윤곽선 추적 궤적(contour-following trajectories), z-순위(z-order)를 인식하는 궤도 애니메이션(orbital animations), 그리고 변환된 객체 상의 투영 정렬 모션(perspective-aligned motion)입니다.