AutoDex: 숙련된 파지 데이터 수집을 위한 자동화된 실세계 시스템

강건한 숙련된 파지 (dexterous grasping)를 학습하기 위해서는 파지 시도의 물리적 결과를 기록하는 실세계 데이터가 필요합니다. 이러한 데이터는 대규모로 확보하기 어렵습니다. 원격 조작 (teleoperation)은 유효한 물리적 결과를 제공하지만 속도가 느리고 작업자의 편향 (operator-biased)이 발생하며, 시뮬레이션 기반 생성은 저렴하고 확장 가능하지만 접촉 유효성 (contact validity)을 보장할 수 없습니다. 자연스러운 해결책은 후보 파지 (candidate grasps)를 생성하고 이를 실제 하드웨어에서 검증하는 것이지만, 이는 전체 수집 루프 (인지, 실행, 라벨링 및 리셋)가 인간의 개입 없이 실행될 때만 확장이 가능합니다. 우리는 이 루프를 폐쇄하는 자동화된 실세계 데이터 수집 시스템인 AutoDex를 제시합니다. 교체 가능한 생성기(generator)로부터 얻은 각 후보에 대해, 이 시스템은 20개의 카메라를 이용한 밀집 인지 (dense perception)를 통해 심한 손-물체 폐쇄 (hand-object occlusion) 상황에서도 물체의 위치를 파악하고, 충돌 모니터링이 적용된 로봇 동작을 실행하며, 들어 올리기 및 유지 (lift-and-hold)의 성공 또는 실패를 라벨링하고, 안정적인 포즈 전반에 걸쳐 추가적인 후보를 노출시키기 위해 시도 사이에 물체를 능동적으로 리셋합니다. 그 결과, 다운스트림 시스템이 검색 (retrieval) 및 실행 가능성 필터링 (feasibility filtering)을 통해 쿼리할 수 있는 물리적으로 라벨링된 파지 시도들의 재사용 가능한 데이터베이스가 구축됩니다. AutoDex를 사용하여 우리는 Allegro 및 Inspire 핸드를 통해 100개의 다양한 물체에 대해 동기화된 다중 뷰 관측값 및 로봇 상태 로그와 함께 3,593개의 파지 시도를 수집했습니다. 매칭된 500개 궤적 수집을 기준으로, AutoDex는 10.3시간이 소요되어 원격 조작의 49.4시간 대비 4.8배의 처리량 (throughput) 향상을 달성했으며, AutoDex로 검증된 데이터베이스에서 검색된 파지는 시뮬레이션 전용 검증의 34% 대비 76%의 성공률을 보였습니다. 코드와 데이터는 공개될 예정입니다.