ManiSkill: 로봇 시뮬레이션 및 훈련을 위한 오픈소스 프레임워크

ray-tracing으로 렌더링된 환경/로봇 샘플입니다. 장면 데이터셋은 AI2THOR와 ReplicaCAD에서 가져왔습니다.

ManiSkill은 SAPIEN 기반의 로봇 시뮬레이션 및 훈련을 위한 오픈소스 프레임워크이며, 조작(manipulation) 스킬에 중점을 두고 있습니다. 주요 기능은 다음과 같습니다:

• GPU 병렬화된 비전 데이터 수집 시스템. 최고 사양에서는 4090 GPU를 사용하여 RGBD + Segmentation 데이터를 30,000 FPS 이상으로 수집할 수 있습니다.
• GPU 병렬화 시뮬레이션: 높은 처리량을 가진 상태 기반 합성 데이터 수집을 시뮬레이션에서 가능하게 합니다.
• GPU 병렬화 이종(heterogeneous) 시뮬레이션: 각 병렬 환경이 완전히 다른 장면/객체 세트를 가질 수 있습니다.
• 예시 작업은 광범위한 다양한 로봇 구현체(휴머노이드, 이동식 매니퓰레이터, 단일 팔 로봇)와 다양한 작업(테이블 위 작업, 그리기/청소, 정교한 조작)을 다룹니다.
• 객체 지향 설계를 통해 복잡한 GPU 메모리 관리 코드를 추상화하는 유연하고 간단한 작업 빌딩 API를 제공합니다.
• Real2sim 환경: GPU 시뮬레이션을 통해 실제 세계의 정책을 100배 더 빠르게 평가할 수 있습니다.
• Sim2real 예시: 시뮬레이션에서 훈련된 정책을 실제 세계에 배포하는 방법을 보여줍니다.
• 강화학습(Reinforcement Learning) (예: PPO, SAC, TD-MPC2), 모방 학습(Imitation Learning) (예: Behavior Cloning, Diffusion Policy), 그리고 대규모 Vision Language Action (VLA) 모델 (예: Octo, RDT-1B, RT-x) 등 많은 튜닝된 로봇 학습 베이스라인을 제공합니다.

더 자세한 내용은 RSS 2025에 발표된 저희 논문을 참고해 주십시오.

작업 빌드부터 sim2real 실행 및 베이스라인 구동까지 더 많은 정보를 얻으려면 문서를 참조하십시오. 버그를 발견하거나 기능 요청 사항이 있다면 GitHub 이슈에 게시하거나 GitHub 토론에서 논의해 주십시오. 또한 ManiSkill 관련 공지사항을 전달하고 논의하는 Discord 서버도 운영하고 있습니다.

원래의 ManiSkill2를 찾는 사용자는 v0.5.3 태그에서 해당 코드베이스 커밋을 찾을 수 있습니다.

ManiSkill 설치는 매우 간단하며, 몇 가지 pip install만 실행하고 렌더링을 위해 Vulkan을 설정하면 됩니다.

# 패키지 설치
pip install --upgrade mani_skill
# 시스템과 호환되는 버전의 torch를 설치합니다
...

마지막으로, 여기의 지침에 따라 Vulkan도 설정해야 합니다.

설치 방법(예: 소스에서 빌드하거나 문제 해결)에 대한 자세한 내용은 문서를 참조하십시오.

시작하려면 빠른 시작 문서(quick start documentation)를 확인해 보세요: https://maniskill.readthedocs.io/en/latest/user_guide/getting_started/quickstart.html

또한, 자체 하드웨어 없이도 GPU 병렬화 시뮬레이션을 시도할 수 있는 빠른 시작 Colab 노트북을 제공합니다. 모든 것이 Colab 무료 등급에서 실행 가능합니다.

실행할 수 있는 예제 스크립트의 전체 목록은 문서를 참조하십시오.

현재 Linux 기반 시스템을 가장 잘 지원합니다. Windows와 MacOS에 대한 지원은 현재 제한적입니다. 다른 시스템에서도 더 많은 기능을 지원하도록 노력하고 있지만, 시간이 걸릴 수 있습니다. 대부분의 제약 사항은 SAPIEN 패키지가 지원할 수 있는 범위에서 비롯됩니다.

@article{taomaniskill3,
title={ManiSkill3: GPU Parallelized Robotics Simulation and Rendering for Generalizable Embodied AI},
author={Stone Tao and Fanbo Xiang and Arth Shukla and Yuzhe Qin and Xander Hinrichsen and Xiaodi Yuan and Chen Bao and Xinsong Lin and Yulin Liu and Tse-kai Chan and Yuan Gao and Xuanlin Li and Tongzhou Mu and Nan Xiao and Arnav Gurha and Viswesh Nagaswamy Rajesh and Yong Woo Choi and Yen-Ru Chen and Zhiao Huang and Roberto Calandra and Rui Chen and Shan Luo and Hao Su},
... 

만약 작업에 ManiSkill2(버전 mani_skill==0.5.3 이하)
을 사용한다면, 다음처럼 ManiSkill2 논문을 인용해 주십시오:

ManiSkill의 일부 다른 에셋, 알고리즘 등은 다른 출처/연구에서 왔습니다. ManiSkill이 제공하는 다양한 구성 요소를 소개할 때 가능한 경우 정확한 인용 bibtex를 포함시키기 위해 최선을 다했습니다.

ManiSkill의 모든 강체(rigid body) 환경은 완전히 허가적인 라이선스(예: Apache-2.0) 하에 있습니다.

해당 에셋들은 CC BY-NC 4.0 라이선스 하에 있습니다.