AnyAct: 비디오로부터 캐릭터 동작을 활용한 인간 재연(Human Reenactment)을 향하여

요약

AnyAct는 비인간 캐릭터의 단안 비디오에서 동작을 추출하여 편집 가능한 인간의 퍼포먼스로 재해석하는 새로운 프레임워크를 제안합니다. 기존 방식의 한계인 구조적 차이와 토폴로지 문제를 해결하기 위해 희소한 국소 관절 동작을 활용하여 캐릭터의 역학을 보존합니다. 이를 위해 3D-to-2D 투영 감독, 점진적 학습, 전역-국소 동작 디커플링 기술을 도입하여 고충실도의 인간 동작 생성을 구현했습니다.

핵심 포인트

• 비인간 캐릭터 비디오로부터 인간의 동작을 재연하는 새로운 방법론 제안
• 희소한 국소 2D 관절 동작을 활용하여 캐릭터와 인간 간의 구조적 차이 극복
• 증강된 3D-to-2D 투영 및 점진적 학습을 통한 동작 생성의 정확도 향상
• 전역-국소 동작 디커플링을 통한 신뢰할 수 있는 국소 동작 제어 구현
• 비인간 캐릭터 비디오 기반의 새로운 벤치마크 구축