InterMimicGen: 자가 진화하는 모션 모방을 통한 휴머노이드 로코-매니퓰레이션 확장

캡처된 인간-사물 상호작용은 휴머노이드 로코-매니퓰레이션에 풍부한 감독(supervision)을 제공하지만, 이는 희소하고(sparse), 이질적이며(heterogeneous), 로봇이 직접 실행할 수 없는 형태입니다. 우리는 InterMimicGen이라는 자가 진화하는 모션 모방 프레임워크를 소개합니다. 이 프레임워크에서는 로봇 동작 데이터와 추적 정책(tracking policy)이 서로 개선시킵니다. 첫째, 우리는 움직임 캡처된 인간-사물 상호작용 데이터셋을 통합하고, 전신 협응(whole-body coordination)과 민첩한 손-사물 관계를 보존하면서 휴머노이드 로봇 레퍼런스로 재타겟팅합니다. 이를 통해 민첩한 전신 로코-매니퓰레이션을 위한 크고 다양한 휴머노이드 로봇 레퍼런스 컬렉션을 생성합니다. 둘째, 우리는 물리 기반의 범용 추적기(physics-based generalist tracker)를 훈련시켜 이 레퍼런스들을 민첩한 손을 가진 휴머노이드 시뮬레이션에서 실행하며, 이는 기존의 로코-매니퓰레이션 휴머노이드 추적 시스템보다 더 넓은 범위와 다양성을 포괄합니다. 셋째, 우리는 데이터 플라이휠(data flywheel)을 완성합니다. 각 라운드는 상호작용이 발생하는 장소와 신체가 수행하는 방식에 작은, 과제 보존적인 변화를 주어 추적기를 미세 조정하고, 시뮬레이션 실행을 통해 과제를 완료하는 변형들만을 유지하며 다음 라운드를 위한 씨앗(seed)으로 사용합니다. 반복 횟수가 늘어날수록, 이러한 작은 수정들은 희소한 원래의 데모네이션 주변으로 더 광범위한 커버리지를 축적하면서도 과제 의미론(task semantics)과 동작 품질을 보존하게 됩니다. 실험 결과는 로봇 구성에 걸친 접촉 보존 재타겟팅, 단일 범용 정책을 통한 넓은 추적, 증강 라운드를 거치면서 계속 증가하는 실행 가능한 동작, 그리고 실제 로봇으로의 전이(transfer)를 보여줍니다. InterMimicGen은 이질적인 인간 데모네이션으로부터 휴머노이드 로봇 학습을 위한 지속적으로 확장되는 모션 리소스로 나아가는 통합된 경로를 제공합니다.