LIBERO-RIG: 비전-언어-액션 모델을 위한 하드웨어 설정 강건성 벤치마크

로봇 정책은 카메라가 분리 및 재장착되거나, 보정(calibration)이 틀어지거나, 컨트롤러가 다른 속도로 실행되고, 엔드 이펙터 패드가 마모되는 등 로봇 자체의 변화를 포함한 배포 환경 전반에 걸쳐 일반화될 것으로 예상됩니다. 우리는 LIBERO-RIG라는 벤치마크를 제시합니다. 이 벤치마크는 모든 LIBERO 태스크를 고정하면서 오직 로봇의 하드웨어 및 설정만을 교란시킵니다. 이 벤치마크는 카메라 마운트 및 광학, 카메라-팔 보정(camera-to-arm calibration), 구동 증폭률(actuation gain), 제어 속도(control rate), 고유수용 감각 노이즈(proprioceptive noise), 베이스 자세(base pose), 테이블 높이, 그리퍼 패드를 포함한 11개의 교란 축을 아우릅니다. 각 축은 다섯 가지 심각도 수준을 가지며, 이는 네 개의 LIBERO 스위트 전반에 걸쳐 총 210가지 조건을 생성합니다. 우리는 최근의 비전-언어-액션 모델 9개를 사용하여 조건당 500 에피소드로 평가하고, 각 발견 사항을 엄격한 통계 테스트로 입증했습니다. 통합 성공률(Pooled success)은 중간 심각도에서 0.932에서 가장 높은 심각도에서는 0.767, 그리고 0.509로 떨어집니다. 성능 저하가 교란 축과 액션 인터페이스 전반에 걸쳐 상당하게 달라지며, 시각적 교란으로 학습하는 것이 카메라 이미지를 변경하지 않는 결함을 완화하지는 못합니다. 우리는 각 에피소드에 대한 고정된 교란 매개변수를 명시한 매니페스트와 함께 이 벤치마크를 공개합니다.