감독된 놀이(Supervised Play)를 통한 민첩성 학습

로봇이 민첩한 조작을 학습하는 데 필요한 접촉 기반 경험을 어떻게 자율적으로 수집할 수 있을까요? 우리는 DSP: Dexterity from supervised play라는 프레임워크를 제시합니다. 이 프레임워크는 로봇이 인간의 몇 분간의 놀이(play)를 통해 행동 복제(behavior cloning)로 놀이 정책(play policy)을 학습한 다음, 이를 자율적으로 배포하여 수 시간 동안의 상호작용 데이터를 수집하고 월드 모델(world model)을 훈련하는 데 사용합니다. 추론(inference) 시에는 동일한 놀이 정책이 학습된 월드 모델 하에서 후보 행동 시퀀스를 제안함으로써 모델 예측 제어(model-predictive control, MPC)를 안내합니다. 또한, 추론 속도를 높이기 위해 학습된 월드 모델 내에서 자가 놀이(self-play)를 통해 폐쇄 루프의 목표 조건부 정책(goal-conditioned policy)을 증류하는 방법을 도입했습니다. 우리는 이 프레임워크를 시뮬레이션과 실제 환경에서 작동력이 부족한 밀기(underactuated pushing)와 다지(multifingered hand)를 사용한 임의-임의 손 안 자세 재배열(any-to-any in-hand pose reorientation)에 대해 평가했습니다. 실제 환경 실험에서, 우리의 방법은 성공률 면에서 사후 행동 복제(hindsight behavior cloning)보다 69.6% 더 우수하며, 강화 학습(reinforcement learning)과 비교할 만한 성공을 달성하면서도 상호작용 데이터는 490배 적게 필요했습니다. 이러한 결과들은 감독된 놀이가 작업별 시연이나 sim-to-real 전이 없이 자율적으로 상호작용 데이터를 수집하고, 모델 기반 계획(model-based planning)을 안내하며, 정책 학습을 가능하게 함을 입증합니다.