AnyAct: 비디오로부터 캐릭터 동작을 활용한 인간 재연(Human Reenactment)을 향하여

요약

AnyAct는 비인간 캐릭터의 단안 비디오에서 동작을 추출하여 인간의 퍼포먼스로 재해석하는 새로운 인간 재연(Human Reenactment) 기술을 제안합니다. 기존 방식의 한계를 극복하기 위해 희소한 국소 2D 관절 동작을 활용하여 캐릭터의 역학을 보존하면서도 편집 가능한 인간 동작을 생성합니다. 이를 위해 3D-to-2D 투영 감독, 점진적 학습, 전역-국소 동작 디커플링이라는 세 가지 핵심 설계를 도입했습니다.

핵심 포인트

• 비인간 캐릭터 비디오로부터 인간의 동작을 생성하는 새로운 프레임워크 AnyAct 제안
• 희소한 국소 2D 관절 동작을 사용하여 캐릭터와 인간 사이의 구조적 차이 극복
• 3D-to-2D 투영 및 점진적 학습을 통해 조건부 모호성 완화
• 전역-국소 동작 디커플링을 통한 신뢰할 수 있는 국소 동작 제어 구현
• 다양한 비인간 캐릭터를 포함하는 새로운 벤치마크 구축