시뮬레이션에서 실제 하드웨어 배포까지 의료용 로봇 데이터 수집, 정책 훈련 및 자율 의료 로봇 워크플로우 구축을 위한 실습 가이드

시뮬레이션은 데이터 격차를 해결하기 위해 의료 영상 분야에서 핵심적인 역할을 해왔습니다. 그러나 현재까지 의료 로봇학 분야에서는 종종 너무 느리거나, 고립되어 있거나, 실제 세계 시스템으로 전환하기 어려웠습니다. 이제 그 변화가 일어나고 있습니다. GPU 가속 시뮬레이션과 디지털 트윈의 새로운 발전 덕분에 개발자들은 가상 환경에서 완전히 로봇 워크플로우를 설계하고 테스트하며 검증할 수 있으며 - 프로토타입 시간을 몇 개월에서 며칠로 줄이고, 모델 정확도를 개선하며, 첫 번째 장비가 수술실까지 도달하기 전에 더 안전하고 빠른 혁신을 가능하게 합니다.

그래서 NVIDIA 는 올해 초 Isaac for Healthcare 를 소개했습니다. 이는 통합 데이터 수집, 훈련 및 평가 파이프라인을 통해 개발자들이 이러한 문제를 해결할 수 있도록 하는 AI 의료 로봇학 개발 프레임워크입니다. 이 파이프라인은 시뮬레이션과 하드웨어를 모두 가로지릅니다. 특히, Isaac for Healthcare v0.4 릴리스는 사용자에게 SO-ARM 기반 시작 워크플로우와 bring your own operating room 튜토리얼을 제공합니다. SO-ARM 시작 워크플로우는 MedTech 개발자들이 시뮬레이션에서 훈련까지 배포까지 전체 워크플로우를 경험하고, 실제 하드웨어에서 바로 자율적으로 구축하고 검증할 수 있는 진입 장벽을 낮춥니다.

이 게시물에서는 시작 워크플로우와 그 기술 구현 세부 사항을 안내하여 여러분이 상상했던 것보다 더 짧은 시간 안에 수술 보조 로봇을 구축하도록 돕습니다.

SO-ARM 시작 워크플로우는 수술 보조 작업을 탐색하는 새로운 방식을 소개하며, 자율 수술 보조를 위한 완전한 엔드 투 엔드 파이프라인을 개발자들에게 제공합니다:

• LeRobot 을 사용하여 SO-ARM 와 함께 실제 세계 및 합성 데이터를 수집
• Isaac Lab 에서 Post-train GR00T N1.5 를 평가한 후 하드웨어에 배포

이 워크플로우는 수술실로 이동하기 전에 보조 기술을 훈련하고 정교하게 만들기 위한 안전하고 반복 가능한 환경을 개발자들에게 제공합니다.

워크플로우는 시뮬레이션과 실제 하드웨어를 통합하는 3 단계 파이프라인을 구현합니다:

데이터 수집: SO-101 과 LeRobot 을 사용하여 혼합 시뮬레이션 및 실제 세계 원격 조작 데모
모델 훈련: 이중 카메라 비전을 사용한 결합 데이터셋에서 Post-training GR00T N1.5
정책 배포: RTI DDS 통신을 통한 물리적 하드웨어의 실시간 추론

특히, 정책 훈련에 사용된 데이터의 93% 이상이 시뮬레이션에서 합성적으로 생성되어 시뮬레이션이 로봇 데이터 격차를 연결하는 데 있어 강점을 입증했습니다.

워크플로우는 실제 세계에서의 로봇 훈련이 비싸고 제한적이며, 순수 시뮬레이션은 종종 실제 세계의 복잡성을 포착하지 못한다는 근본적인 문제를 해결하기 위해 시뮬레이션과 실제 세계 데이터를 결합합니다. 이 접근법은 다양한 시나리오와 환경 변화를 위한 약 70 개의 시뮬레이션 에피소드와 10-20 개의 실제 세계 에피소드를 사용하여 진정성과 지점을 제공합니다. 이 혼합 훈련은 단일 도메인 이상을 넘어 일반화되는 정책을 만듭니다.

워크플로우는 다음을 요구합니다:

GPU: GR00T N1.5 추론을 위한 RT Core 활성화 아키텍처 (Ampere 또는 이후) 및 ≥30GB VRAM
SO-ARM101 Follower: 6-DOF 정밀 조작기 및 이중 카메라 비전 (손목과 방). SO-ARM101 은 손목 장착 카메라와 3D 프린팅 어댑터가 포함된 WOWROBO 비전 구성 요소를 특징으로 합니다.
SO-ARM101 Leader: 전문가 데모 수집을 위한 6-DOF 원격 조작 인터페이스

특히, 개발자는 물리적 AI 를 위한 3 대 컴퓨터가 필요한 모든 시뮬레이션, 학습 및 배포를 하나의 DGX Spark 에서 실행할 수 있습니다.

LeRobot 에서 지원되는 SO-ARM101 하드웨어 또는 다른 버전으로 실시간 데이터 수집:

python /path/to/lerobot-record \
--robot.type=so101_follower \
--robot.port=<follower_port_id> \
...

시뮬레이션 기반 데이터 수집:

# 키보드 원격 조작 사용 시
python -m simulation.environments.teleoperation_record \
--enable_cameras \
...

물리적 SO-ARM101 하드웨어를 갖지 않은 사용자들을 위해, 워크플로우에서는 다음 조인트 제어와 함께 키보드 기반 원격 조작을 제공합니다:

• Joint 1 (shoulder_pan): Q (+) / U (-)
• Joint 2 (shoulder_lift): W (+) / I (-)
• Joint 3 (elbow_flex): E (+) / O (-)
• Joint 4 (wrist_flex): A (+) / J (-)
• Joint 5 (wrist_roll): S (+) / K (-)
• Joint 6 (gripper): D (+) / L (-)
• R 키: 기록 환경 초기화
• N 키: 에피소드를 성공으로 표시

시뮬레이션 및 실시간 데이터를 모두 수집한 후, 학습을 위해 데이터셋을 변환하고 결합합니다:

# 시뮬레이션 데이터를 LeRobot 형식으로 변환
python -m training.hdf5_to_lerobot \
--repo_id=surgical_assistance_dataset \
...

학습된 모델은 "수술용 칼날을 준비해 주세요" 또는 "강봉을 건내주세요"와 같은 자연어 지시를 처리하고 해당 로봇 동작을 실행합니다. 최신 LeRobot 릴리스 (v0.4.0) 를 사용하면 GR00T N1.5 를 LeRobot 에서 네이티브로 포스트 학습할 수 있습니다!

시뮬레이션은 루프의 일부가 될 때 가장 강력합니다: 데이터 수집 → 학습 → 평가 → 배포. Isaac Lab 은 이 전체 파이프라인을 지원합니다:

• 키보드 또는 하드웨어 컨트롤러를 사용하여 로봇 원격 조작

• 멀티 카메라 관찰, 로봇 상태 및 동작 캡처

• 실제 환경에서 안전하게 수집하기 어려운 다양한 에지 케이스를 포함한 데이터셋 생성

• Isaac Lab 의 RL 프레임워크와 깊은 통합으로 PPO 학습 지원

• 병렬 환경 (동시에 수천 개의 시뮬레이션)

• 내장 경로 분석 및 성공 지표

• 다양한 시나리오에 대한 통계적 검증

• 프로덕션 배포를 위한 자동 최적화

• 동적 형식 및 멀티 카메라 추론 지원

• 실시간 성능을 검증하기 위한 벤치마킹 도구

이는 실험에서 배포까지의 시간을 줄이고, 시뮬레이션에서 실제 환경으로 전환을 개발의 일상적인 부분으로 만듭니다.

Isaac for Healthcare SO-ARM Starter 워크플로우가 이제 이용 가능합니다. 시작하려면:

리포지토리 복제: git clone https://github.com/isaac-for-healthcare/i4h-workflows.git

워크플로우 선택: 수술 보조를 위한 SO-ARM Starter 워크플로우로 시작하거나 다른 워크플로우를 탐색하세요.

설치 실행: 각 워크플로우에는 자동화된 설치 스크립트 (예: tools/env_setup_so_arm_starter.sh) 가 포함되어 있습니다.

• GitHub 리포지토리: 전체 워크플로우 구현
• 문서: 설치 및 사용 가이드
• GR00T 모델: 사전 학습된 기반 모델
• 하드웨어 가이드: SO-ARM101 설정 지침
• LeRobot 리포지토리: 엔드 투 엔드 로봇 학습