ReActor: Reinforcement Learning for Physics-Aware Motion Retargeting

인간 운동학적 참조 모션을 로봇의 형태론에 재목표 (Retargeting) 하는 것은 여전히 난제입니다. 기존 방법들은 발 미끄러짐, 자기 간섭, 역학적으로 불가능한 운동 등 물리적 불일치를 생성하여 downstream imitation learning 을 방해합니다. 우리는 강화학습 (RL) 을 사용하여 추적 정책을 훈련하면서 참조 모션을 로봇의 형태론에 동시에 적응시키는 bilevel optimization framework 를 제안합니다. 최적화를 tractable 하게 만들기 위해 upper-level loss 의 근사 gradient 를 유도했습니다. 우리의 프레임워크는 의미 있는 rigid-body 대응 관계만 필요하며, 다양한 embodiment 에서 특징적인 운동 (characteristic motion) 을 보존하기 충분한 parameterization 의 최적 값을 식별함으로써 수동 튜닝의 필요성을 제거합니다. 또한 물리 시뮬레이션과 재목표 (retargeting) 를 직접 통합하여 robust imitation learning 을 용이하게 하는 물리적으로 타당한 운동을 생성했습니다. 우리는 시뮬레이션과 하드웨어에서 우리의 방법을 검증하여 인간과 크게 다른 형태론을 위한 도전적인 운동, 예를 들어 quadruped 에 대한 재목표를 입증했습니다.