로봇 손은
인간의 몇 초간 움직임으로부터
무엇을 배울 수 있을까요?
놀라운 것은 바로 일반화 가능한(generalize) 민첩한 기술입니다!
AdaDex: Hybrid Dexterous Mimicking을 통한 적응형 민첩 기술 학습을 공유하게 되어 기쁩니다.
[IMG:N]
각 기술별로 짧은 손-물체 클립 하나만으로, AdaDex는 기능적 파지(functional grasping), 물체 재배치(object reposing), 손 안에서의 방향 전환(in-hand reorientation), 그리고 던지고 잡기(throw-and-catch)에 이르는 적응형 민첩 기술을 학습합니다.
프로젝트 페이지:
https://yuxuank.com/AdaDex/
(1/8)
민첩 기술 학습은 현재 두 가지 패러다임이 지배하고 있습니다.
목표 도달 RL (Goal-reaching RL) (Dex4D, SimToolReal)은 임의의 물체 자세에 일반화되지만, 인간 사전 정보(human prior)가 없으면 종종 비자연적이고 기능하지 않는 파지 및 손가락 전략으로 수렴합니다.
모션 트래킹(Motion tracking) (ManipTrans,
핵심 통찰은 모션 트래킹과 목표 도달이 동일한 조건부 목표 문제, $\pi(a | s, g)$라는 것입니다. 이들은 오직 목표 $g$가 어디서 오는지와 진행 상황에 대한 보상이 어떻게 주어지느냐에서만 다릅니다.
따라서 Hybrid Dexterous Mimicking에서는 단일 정책이 두 가지 종류의 대규모 [내용 생략]
결과는 명확합니다:
모션 트래킹 기준선은 참조 지점에서 벗어나면 작동을 멈춥니다: ManipTrans는 보지 못한 움직임에 대해 겨우 7.3%의 추적 진행률만을 달성했습니다. 이는 보지 못한 움직임을 만나면 단순히 OOD(Out-of-Distribution) 상태에 진입합니다.
목표 도달 기준선은 물체를 움직이지만 비자연적인 방식으로,