AnyBody: 임의의 키포인트 가이드를 통한 자유 형식의 전신 휴머노이드 제어

우리는 배포 시점에 선택된 신체 키포인트 (body keypoints)의 임의의 부분 집합에 의해 구동되는 통합 전신 휴머노이드 컨트롤러인 AnyBody를 선보입니다. 기존의 물리 기반 트래커 (physics-based trackers)는 비용이 많이 드는 전신 모션 캡처 (motion capture)와 오류가 발생하기 쉬운 궤적 리타겟팅 (trajectory retargeting)에 의존하여 확장 가능한 데이터 수집 및 정책 학습 (policy learning)에 병목 현상을 일으키거나, 상체와 하체 제어를 별도의 계층적 표현 (hierarchical representations)으로 분해하여 이동 조작 (loco-manipulation)에 필요한 조정된 전신 동작을 희생합니다. 우리는 어떤 키포인트 부분 집합도 대응할 수 있는 단일 잠재 동작 표현 (latent motion representation)을 학습함으로써 이 간극을 메웁니다. 이를 달성하기 위해, 우리는 먼저 대규모 비정형 모션 코퍼스 (unstructured motion corpus)에서 특권적 교사 트래커 (privileged teacher tracker)를 학습시키고, 이를 잠재 공간 (latent space)이 단위 구 (unit sphere)인 결정론적 인코더-디코더 학생 모델 (deterministic encoder-decoder student)로 온라인 증류 (distill)합니다. 그런 다음 마스크드 셀프 어텐션 (masked self-attention)을 통해 신체 키포인트의 임의의 부분 집합을 수용하는 트랜스포머 키포인트 인코더 (transformer keypoint encoder)를 학습시켜 이를 특권적 잠재 공간 (privileged latent)에 정렬합니다. 또한, 동결된 디코더 (frozen decoder)를 모터 사전 정보 (motor prior)로 취급하고, 잠재 공간 내에서 경량 잔차 교정기 (lightweight residual corrector)를 사용하여 다운스트림 태스크 (downstream tasks)를 전문화합니다. 우리는 임의의 키포인트 부분 집합으로부터 대규모 인간 동작을 추적하고, 자유 형식 제어 (free-form control), 유연한 원격 조종 (teleoperating), 그리고 이동 (locomotion), 공중 쓰기 (in-air writing), 장애물 도달 (obstacle-reach)을 포함한 다운스트림 행동 학습을 통해 AnyBody의 효과를 입증합니다.