궤적 제어형 인간 동작 생성을 위한 다중 조건 조정

궤적 제어형 인간 동작 생성 (Trajectory-controlled human motion generation)은 텍스트 설명과 공간적 궤적 (spatial trajectories) 모두를 조건으로 하여 현실적인 인간 동작을 합성하는 것을 목표로 합니다. 그러나 기존 방법들은 두 가지 결정적인 한계점을 가집니다. 첫째, 텍스트와 궤적 조건 사이의 충돌이 디노이징 (denoising) 과정을 방해하여, 동작 품질이 저하되거나 궤적 추종 (trajectory following)이 부정확해지는 결과가 발생합니다. 둘째, 중복된 동작 표현 (motion representations)의 사용이 동작 구성 요소 간의 불일치를 유발하여, 궤적 제어 중 불안정성을 초래합니다. 이러한 문제를 해결하기 위해, 우리는 분할 정복 (divide-and-conquer) 전략을 통해 텍스트와 궤적 조건을 효과적으로 조정하는 분리된 프레임워크인 CMC를 제안합니다. CMC는 분할 정복 패러다임을 따르며, 궤적 제어 (Trajectory Control)와 동작 완성 (Motion Completion)이라는 두 개의 직렬 단계 (cascaded stages)로 구성됩니다. 첫 번째 단계에서는 확산 모델 (diffusion model)이 주어진 궤적을 기반으로 궤적 유도 하에 제어되는 관절들의 단순화된 표현을 생성하여, 정확하고 안정적인 궤적 추종을 보장합니다. 두 번째 단계에서는 텍스트 조건부 확산 인페인팅 (text-conditioned diffusion inpainting) 모델이 첫 번째 단계의 단순화된 표현을 부분 관측값 (partial observations)으로 사용하여 전신 동작을 생성합니다. 제한된 인페인팅 학습 데이터로 인한 과적합 (overfitting)을 완화하기 위해, 우리는 학습 과정에서 텍스트-동작 생성 (text-to-motion generation)과 동작 인페인팅 (motion inpainting) 작업을 교대로 수행하는 선택적 인페인팅 메커니즘 (Selective Inpainting Mechanism, SIM)을 추가로 도입합니다. HumanML3D 및 KIT 데이터셋에 대한 실험을 통해 CMC가 제어 정확도와 동작 품질 면에서 최첨단 (state-of-the-art) 성능을 달성함을 입증하였으며, 이는 다중 모달 조건 (multimodal conditions)과 표현을 조정하는 데 있어 CMC의 효과성을 보여줍니다.