범용 이동 조작(General-purpose mobile manipulation)은 역량 있는 로봇 하드웨어, 확장 가능한 시연 수집(demonstration collection), 표현력이 풍부한 전신 제어(whole-body control), 그리고 효과적인 정책 학습(policy learning)의 조합을 필요로 합니다. 그러나 이러한 구성 요소들은 종종 독립적으로 개발되어 전체 시스템의 능력을 제한하는 불일치(mismatch)를 초래합니다.
우리는 범용 이동 조작 학습을 위해 공동 설계된 풀스택 시스템인 Pixel을 소개합니다. Pixel은 인간의 운동학(kinematics)과 순응형 그리퍼(compliant grippers)가 적용된 저가형 바퀴 달린 휴머노이드, 다중 원격 조종 및 로봇이 없는 인간 데이터 수집 인터페이스, 통합 전신 제어기(unified whole-body controller), 그리고 인간 및 로봇 시연에 걸친 공통 정책 학습 파이프라인을 결합합니다. 또한 계층적 학습 스택(hierarchical learning stack)은 언어 조건부 시각 운동 제어(language-conditioned visuomotor control)와 장기 지평 작업 실행(long-horizon task execution)을 가능하게 합니다.
우리는 하드웨어, 데이터 수집, 정책 학습 전반에 걸쳐 시스템을 평가하고, 민첩성(dexterity), 능동적 지각(active perception), 내비게이션, 그리고 전신 협응(whole-body coordination)이 필요한 이동 조작 행동들을 시연합니다.
우리는 Pixel이 로봇 학습을 위해 로봇 하드웨어, 데이터, 제어, 그리고 학습이 어떻게 함께 설계될 수 있는지 연구하는 데 통합적이고 확장 가능한 기반을 제공하기를 바랍니다. 더 많은 결과는 https://pixel-robot.com/pixel에서 확인할 수 있습니다.