위상 불가지론적 캐릭터 애니메이션을 위한 의미 인식 모션 인코딩

데이터셋과 종(species)에 걸쳐 골격 구조(skeletal structures)의 상당한 위상적 변이(topological variations)로 인해 다양한 캐릭터에 걸쳐 모션 표현(motion representation)을 일반화하는 것은 여전히 어려운 과제로 남아 있으며, 이는 확장 가능한 생성 모델(generative models)의 개발을 저해합니다. 이러한 격차를 해소하기 위해, 우리는 서로 다른 종들이 공유하는 통합된 잠재 매니폴드(latent manifold)를 학습하는 의미 인식 위상 불가지론적(Semantic-Aware Topology-Agnostic) 프레임워크를 제안합니다. 고정된 계층 구조(fixed hierarchies)나 경직된 패딩 전략(rigid padding strategies)에 의존하는 방법들과 달리, 우리의 접근 방식은 의미론적 변조 메커니즘(semantic modulation mechanism)을 활용하여 기능적 관절 대응 관계(functional joint correspondences)를 정렬함으로써 모션을 위상(topology)으로부터 분리합니다. 이러한 설계는 정렬되지 않은 대규모의 원시 BVH 데이터로부터 연속적이고 생성에 친화적인 모션 공간을 구축할 수 있게 합니다. 인간 및 동물 데이터셋에 대한 실험을 통해 우리의 프레임워크가 높은 충실도의 재구성(high-fidelity reconstruction)을 달성하고 다운스트림 텍스트-투-모션(text-to-motion) 작업을 지원함을 입증했습니다. 특히, 이 모델은 쌍을 이룬 데이터(paired data) 없이도 제로샷 교차 종 리타겟팅(zero-shot cross-species retargeting)을 가능하게 합니다. 코드와 데모는 다음에서 확인할 수 있습니다: https://github.com/zzysteve/SATA