간섭 상황에서의 로봇 메모리 벤치마킹

실제 환경에 배치된 로봇은 배포 기간 동안 많은 세션과 태스크에 걸쳐 경험을 축적하게 됩니다. 로봇의 태스크는 종종 여러 세션 전의 정보를 기억할 것을 요구할 수 있으며, 이는 실제 배포를 위한 긴 문맥 로봇 메모리 (long-context robot memory)의 중요성을 시사합니다. 그러나 오늘날 대부분의 로봇 메모리 벤치마크는 단일 에피소드 또는 짧은 문맥을 기반으로 합니다. 더 많은 방해 요소가 있는 더 긴 세션에서 현재의 로봇 메모리 시스템이 어떻게 작동하는지 측정하기 위해, 우리는 RoboMME를 기반으로 구축된 교차 세션 벤치마크인 RoboMME-Interference를 소개합니다. 각 쿼리 에피소드에 대해, 우리는 쿼리와 관련된 이전 시연(demonstration)에 이어 통제된 수의 관련 없는 세션들을 배치하여 세션 이력을 구성하며, 이를 VLA (Vision-Language-Action model)에 메모리로 제공하고 정확도를 측정합니다. 공개된 RoboMME의 메모리 증강 $π_{0.5}$ 변형 모델들을 수정 없이 이 벤치마크에 실행한 결과, 지각 메모리 (perceptual memory) 변형 모델들은 방해 요소가 없는 이력이 주어졌을 때는 성공률이 향상되지만, 관련 없는 세션이 축적됨에 따라 성능이 강력하고 꾸준하게 저하됨을 발견했습니다. 이번 공개를 통해 우리는 긴 문맥 메모리 (long-context memory)와 간섭에 대한 강건성 (robustness to interference)의 중요성을 강조하며, 현재의 시스템들이 이러한 능력에서 대체로 실패함을 보여줍니다. 프로젝트 페이지, 영상, 코드 및 데이터는 https://robotmemorybench.com 에서 확인할 수 있습니다.