정교한 조작(dexterous manipulation)을 학습하는 데 있어 고품질 시연 데이터 수집은 여전히 핵심적인 병목 현상으로 남아 있습니다. 원격 조작(Teleoperation)은 실행 가능한 로봇 동작을 기록하지만, 완전한 로봇 설비를 필요로 하며 많은 손가락 관절을 조정해야 하는 부담을 작업자에게 지웁니다. 인간의 시연 데이터는 수집하기 쉽지만, 그 움직임은 추정되고 로봇에 재표적화(retargeted)되어야 하며, 직접적으로 로봇 동작을 제공하지 않습니다.
본 논문에서는 고(high)-DoF 로봇 손을 위한 휴대용 데이터 수집 인터페이스인 DexPort를 소개합니다. 이는 수집과 배포에 동일한 손 하드웨어를 사용하여 손 구현 격차(hand embodiment gap)를 피하며, 명령된 관절 목표값(commanded joint targets)과 측정된 관절 상태값(measured joint states)을 모두 기록합니다. 우리의 핵심 발견은 소수의 스킬 세트가 광범위한 정교 작업들을 지원할 수 있다는 것입니다.
수집 과정 동안, 작업자는 손에 들린 인터페이스를 움직여 로봇 손목 동작을 지정하고 손가락 움직임을 조정하는 스킬을 선택하거나 수정합니다. 이는 정밀한 파지(grasping)나 손 안 조작(in-hand manipulation)과 같은 행동은 유지하면서 각 관절을 개별적으로 제어할 필요성을 제거합니다.
우리는 로봇 팔 없이 여러 실제 작업과 비정형 환경에서 시연 데이터를 수집합니다. 그런 다음 행동 복제(behavior cloning)를 사용하여 스킬 레이블 없이 기록된 손목 동작 및 손 명령을 기반으로 시각-운동 정책(visuomotor policies)을 직접 훈련합니다. 우리는 네 가지 작업을 통해 평가했습니다: 다양한 물체를 이용한 집어넣기(pick-and-place), 손 안 도구 사용을 통한 나사 돌리기(screwing), 동시적인 파지 및 당김이 필요한 서랍 보관(drawer stowage), 그리고 양손 스캐닝 작업(bimanual scanning task)입니다.
우리는 실험실 환경과 야외(in-the-wild) 환경 모두에서 휴대용 장치를 사용하여 2,500개 이상의 시연 데이터를 수집했습니다. 우리의 작업 전반에 걸쳐, 상태값 대신 기록된 로봇 명령을 사용했을 때 11%에서 64%로의 개선을 보였으며, 야외 데이터(in-the-wild data)를 사용할 경우 작업 성공률이 36%에서 78%로 향상되는 것을 확인했습니다.