휴머노이드 이동-조작 (loco-manipulation)은 흔히 물체로 걸어가서, 조작을 위해 멈춘 다음, 다시 이동을 재개하는 '정지 및 이동 (stop-and-go)' 과정으로 단순화되곤 합니다. 또한, 이는 개폐형 파지 프리미티브 (open-close grasp primitive)처럼 작동하는 낮은 자유도 (DoF) 말단 장치 (end effectors)에 의존하는 경우가 많습니다. 우리는 고차원의 신체 및 데크스트러스 손 (dexterous hand) 제어를 협응된 잠재 잔차 제어 (coordinated latent residual control)로 변환하여, 이동 중에도 높은 자유도의 데크스트러스 이동-조작을 가능하게 하는 학습 파이프라인인 CoorDex를 소개합니다. 시뮬레이션된 전신 및 손 데모 (demonstrations)로부터 시작하여, CoorDex는 휴머노이드 신체와 데크스트러스 손을 위한 특권 모션 트래킹 (privileged motion tracking) 교사 모델을 학습시키고, 이를 고유 수용 감각 조건부 잠재 사전 정보 (proprioception-conditioned latent priors)로 증류(distill)하며, 동결된 사전 정보를 하위 작업 잔차 강화학습 (downstream residual reinforcement learning)을 위한 액션 공간 (action space)으로 사용합니다. 협응된 잠재 잔차 정책 (coordinated latent residual policy)은 공유된 작업 컨텍스트 (task context)와 분리된 신체-손 잔차 헤드 (body-hand residual heads)를 통해 이러한 사전 정보들을 조합하여, 손가락 수준의 접촉 신뢰성을 향상시키는 동시에 자연스러운 전신 동작을 보존합니다. CoorDex는 20-DoF WUJI 손을 장착한 Unitree G1 휴머노이드가 이동 중에도 멈추지 않고 병을 잡고 운반하기, 이동 중 냉장고 문 열기, 큐브 집어 돌리기 등을 포함한 데크스트러스 조작을 수행할 수 있게 합니다. '걷기-잡기-운반 (walk-grasp-carry)' 작업에 대한 절제 연구 (Ablations) 결과, 동일한 보상 예산 하에서 관절 공간 PPO (joint-space PPO), 관절 공간 손 제어 (joint-space hand control), 그리고 단일 잠재 예측 (monolithic latent prediction)은 모두 실패한 반면, 잠재 사전 정보 인터페이스 (latent-prior interface)와 협응된 잔차 구조 (coordinated residual structure)는 고차원의 접촉이 풍부한 이동-조작을 학습 가능하게 만듭니다. 프로젝트 페이지: https://skevinci.github.io/coordex/