범용 로봇 조작 정책(Generalist robot manipulation policies)은 빠르게 발전해 왔으나, 기존의 벤치마크들은 이들의 능력을 체계적으로 평가하는 데 여전히 한계가 있습니다. 많은 벤치마크가 능력 범위가 제한적인 단순하고 짧은 시계(short-horizon) 작업이나 좁은 기술(skill-narrow) 작업에 의존하고 있으며, 종종 시뮬레이션에서만 수행되거나 실세계(real world)에서만 수행됩니다. 시뮬레이션은 확장 가능한 피드백을 가능하게 하지만 물리적 배포(physical deployment)의 어려움을 놓치며, 실세계 평가는 비용이 많이 들고 시간이 오래 걸리며 재현하기 어렵습니다. 우리는 범용 로봇 조작 정책의 종합적인 평가를 위한 통합 시뮬레이션 및 실세계(sim-and-real) 벤치마크인 RoboDojo를 소개합니다. RoboDojo는 다양하고 상호 보완적인 조작 능력을 다루는 42개의 시뮬레이션 작업과 18개의 실세계 작업을 포함합니다. 시뮬레이션 벤치마크는 일반화(generalization), 메모리(memory), 정밀도(precision), 장기 시계 실행(long-horizon execution), 그리고 오픈 보캐블러리 지시 따르기(open-vocabulary instruction following)의 다섯 가지 차원을 평가하며, 실세계 벤치마크는 정책을 도전적인 물리 세계 배포 조건에 노출시킵니다. RoboDojo는 Isaac Sim에서의 이기종 병렬 시뮬레이션(heterogeneous parallel simulation)을 통해 확장 가능한 평가를 지원하며, 원격 클라우드 접속, 표준화된 하드웨어, 장면 리셋(scene reset), 평가 프로토콜 및 배포 인터페이스를 갖춘 재현 가능한 실세계 평가 시스템인 RoboDojo-RealEval을 제공합니다. XPolicyLab과 함께라면 정책을 한 번만 통합하여 최소한의 적응만으로 시뮬레이션과 실세계 환경 모두에서 평가할 수 있습니다. 우리는 30개의 정책을 XPolicyLab에 통합하여 RoboDojo에서 평가하였으며, 이를 통해 공개 리더보드(public leaderboard)를 구축하고 현재 정책 성능에 대한 체계적인 분석을 수행했습니다. 웹사이트는 http://robodojo-benchmark.com/ 에서 확인할 수 있습니다.