실제 로봇의 5구 저글링을 위한 작업 오차 잔차 학습 (Task-Error Residual Learning)

기존 행동을 개선하는 잔차 학습 (residual learning)의 경우, 샘플 효율성 (sample efficiency)은 두 가지 요소에 달려 있습니다: 각 롤아웃 (rollout)이 얼마나 많은 정보를 반환하는지, 그리고 학습기 (learner)가 그 정보를 얼마나 효율적으로 사용하는지입니다. 강화학습 (Reinforcement learning)의 표준 스칼라 보상 (scalar reward)은 작업을 정의하는 방향성 작업 오차 (directional task error)보다 훨씬 적은 정보를 담고 있습니다. 무작위 탐색 (Random exploration)은 각 롤아웃이 반환하는 정보를 더욱 손실시킵니다. 방향성 작업 오차 감독 (directional task-error supervision)과 샘플 선택을 유도하는 작업 오차 모델 (task error model)을 이용한 잔차 학습을 통해, 우리는 인체형 Barrett WAM 암 (arms)에서 안정적인 3구, 4구, 5구 저글링을 달성했습니다. 단순하고 이상화된 스택 (stack)을 통해 계획 및 제어함에도 불구하고, 시스템은 두 번째 시도에서 수렴합니다. 첫 번째 시도에서는 공을 떨어뜨리지만, 그 이후에는 추가적인 실패 없이 작업 오차가 단조적으로 감소합니다. 이에 비해 5구 저글링은 일반적으로 인간이 수년간 연습해야 하는 작업입니다. 우리는 학습 피드백의 방향성 정보와 분석적 사전 정보 (analytic prior)의 전념도 (commitment)라는 두 가지 삼항 축을 기준으로 잔차 학습기들을 비교하였으며, 여기에는 Newton 방식의 Jacobian 업데이트 (Jacobian updates), 복합 베이지안 최적화 (Composite Bayesian Optimization), 그리고 확률적 탐색 (stochastic search) 방법이 포함됩니다. 두 축 모두 필수적임이 증명되었습니다. 방향성 피드백이나 정보가 풍부한 사전 정보 중 어느 하나만으로는 충분하지 않으며, 이 둘을 결합한 가장 단순한 방법인 고정 Jacobian Newton 업데이트 (fixed-Jacobian Newton update)가 가장 신뢰할 수 있는 방법입니다. 학습된 잔차 (learned residual)는 상당한 사전 정보의 불일치 (prior misalignment)와 저하된 관절 추적 (joint tracking)을 허용하며, 이는 주로 수렴 속도에 영향을 미칩니다. 따라서 실제 로봇에서 잔차 학습의 병목 현상은 주변 스택의 정확도가 아니라, 감독 신호 (supervision signal)의 정보 함유량과 학습기가 이를 어떻게 사용하는가에 있습니다. 모든 실험의 비디오 문서는 https://kai-ploeger.com/residual-juggling 에서 확인할 수 있습니다.