NoContactNoWorries: 시각과 고유 수용 감각을 통한 손 안의 숙련된 조작 시 접촉 추정

요약

NoContactNoWorries는 촉각 센서 없이 시각(RGB-D)과 고유 수용 감각을 결합하여 로봇의 접촉 상태를 추론하는 멀티모달 프레임워크입니다. Transformer 기반 모델을 통해 의사 촉각 신호를 생성하며, 이는 물체 재방향 설정과 같은 강화학습 에이전트의 성능을 향상시킵니다.

핵심 포인트

• 촉각 하드웨어 없이 시각과 고유 수용 감각만으로 접촉 추정 가능
• Transformer 기반의 멀티모달 프레임워크 NoContactNoWorries 제안
• 새로운 물체에 대한 접촉 신호 일반화 능력 입증
• 강화학습 기반의 손 안 물체 재방향 설정 작업에 적용 가능