NoContactNoWorries: 시각과 고유 수용 감각을 통한 손 안의 숙련된 조작 시 접촉 추정
요약
NoContactNoWorries는 촉각 센서 없이 시각(RGB-D)과 고유 수용 감각을 결합하여 로봇의 접촉 상태를 추론하는 멀티모달 프레임워크입니다. Transformer 기반 모델을 통해 의사 촉각 신호를 생성하며, 이는 물체 재방향 설정과 같은 강화학습 에이전트의 성능을 향상시킵니다.
핵심 포인트
- 촉각 하드웨어 없이 시각과 고유 수용 감각만으로 접촉 추정 가능
- Transformer 기반의 멀티모달 프레임워크 NoContactNoWorries 제안
- 새로운 물체에 대한 접촉 신호 일반화 능력 입증
- 강화학습 기반의 손 안 물체 재방향 설정 작업에 적용 가능
물리적 접촉을 인지하는 것은 숙련된 조작 (dexterous manipulation)의 기본입니다. 로봇은 종종 전용 하드웨어 촉각 센서 (tactile sensors)에 의존하지만, 인간은 시각 정보와 신체 포즈 및 움직임에 대한 타고난 감각을 통합함으로써 접촉을 추론하는 놀라운 능력을 보여줍니다. 이러한 체화된 지각 기술 (embodied perceptual skill)에서 영감을 받아, 우리는 로봇이 시각으로부터 접촉을 추론하는 방법을 학습할 수 있는지 조사합니다. 이 접근 방식은 비용, 취약성 및 통합 측면에서 실질적인 어려움에 직면한 이진 접촉 추정 (binary contact estimation)을 위해 촉각 하드웨어를 대체할 수 있는 확장 가능한 대안을 제공합니다. 우리는 RGB-D 시각과 로봇의 고유 수용 감각 (proprioception)을 융합하여 손-물체 상호작용에 대한 의사 촉각 신호 (pseudo-tactile signal)로서 이진 접촉 상태를 추론하는 트랜스포머 (transformer) 기반의 멀티모달 프레임워크인 NoContactNoWorries를 제시합니다. 우리는 여러 물체에 대해 단일 접촉 예측 모델을 학습시켜 이를 검증하며, 추론된 접촉 신호가 새로운 물체로 일반화되는 손 안의 물체 재방향 설정 (in-hand object reorientation)을 위한 다운스트림 강화학습 (reinforcement learning) 에이전트를 지원함을 보여줍니다. 시뮬레이션과 실제 로봇 모두에서의 실험을 통해 우리의 접근 방식을 검증하며, 시각과 고유 수용 감각으로부터 접촉을 추론하는 것이 가능하다는 점을 강조합니다. 프로젝트 페이지: https://soham2560.github.io/no-contact-no-worries/
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기