LIBERO-RIG: 비전-언어-액션 모델을 위한 하드웨어 설정 강건성 벤치마크

요약

본 논문은 로봇 정책의 일반화 성능을 평가하기 위해 LIBERO-RIG라는 새로운 하드웨어 설정 강건성 벤치마크를 제시합니다. 이 벤치마크는 카메라, 보정, 구동 증폭률 등 11개 교란 축과 다섯 가지 심각도 수준을 조합하여 총 210가지의 다양한 환경 변화 조건을 생성합니다. 연구진은 이를 통해 비전-언어-액션 모델들의 실제 배포 환경에서의 성능 저하 양상을 분석했습니다.

핵심 포인트

• 로봇 정책 일반화를 위한 하드웨어 강건성 벤치마크(LIBERO-RIG) 제시
• 카메라, 보정, 구동 증폭률 등 11개 교란 축을 포함하여 총 210가지 조건 생성
• 통합 성공률은 심각도 증가에 따라 성능 저하가 관찰됨 (중간: 0.932 -> 최고: 0.767)
• 성능 저하는 특정 교란 축과 액션 인터페이스 전반에서 다르게 나타남