ManiSoft: 소프트 연속체 로봇을 위한 시각-언어 조작을 향하여

요약

ManiSoft는 기존 강체 로봇 팔 연구의 한계를 넘어, 변형 가능한 소프트 로봇 팔을 위한 시각-언어 조작(vision-language manipulation) 벤치마크를 제안합니다. 현실적인 소프트 바디 역학을 지원하는 시뮬레이터와 자동화된 데이터 생성 파이프라인을 통해 다양한 조작 태스크를 수행할 수 있도록 설계되었습니다. 실험 결과, 현재의 정책 모델들은 무작위화된 환경에서 고유 수용 상태 추정 및 변형 가능성 활용에 어려움을 겪는 것으로 나타났습니다.

핵심 포인트

• 소프트 로봇 팔의 변형 가능성과 복잡한 상호작용을 지원하는 맞춤형 시뮬레이터 ManiSoft 소개
• 고수준 플래너와 저수준 강화학습을 결합하여 6,300개의 전문가 궤적을 생성하는 자동화 파이프라인 구축
• 말단 장치 조정부터 장애물 회피까지 네 가지 핵심 변형 제어 태스크 정의
• 무작위 환경에서의 성능 저하 원인으로 부정확한 시각적 고유 수용 상태 추정과 변형 활용 능력 부족을 지적