실제 하드웨어에 자율 의료 로봇 워크플로우를 구축하기 위한 데이터 수집, 정책 훈련 및 배포의 실무 가이드

• NVIDIA Isaac 를 활용한 시뮬레이션에서 배포까지 의료 로봇 구축

시뮬레이션은 데이터 격차를 해결하기 위해 의료 영상 분야에서 핵심 역할을 해왔습니다. 그러나 현재까지 의료 로봇학에서는 종종 너무 느리거나, 고립되어 있거나 실제 세계 시스템으로의 전환이 어려웠습니다.

NVIDIA Isaac for Healthcare 는 AI 의료 로봇학 개발자를 위한 개발 프레임워크로, 시뮬레이션과 하드웨어를 모두 지원하며 통합된 데이터 수집, 훈련 및 평가 파이프라인을 제공함으로써 이러한 도전을 해결할 수 있게 합니다. 특히 Isaac for Healthcare v0.4 릴리스는 의료 개발자에게 엔드 투 엔드 SO - ARM 기반 시작 워크플로우와 자체 운영실 튜토리얼을 제공합니다. SO-ARM 시작 워크플로우는 MedTech 개발자가 시뮬레이션에서 훈련 및 배포까지의 전체 워크플로우를 경험하고 실제 하드웨어에서 자율 시스템을 구축 및 검증하기 위한 진입 장벽을 낮춥니다.

이 게시물에서는 시작 워크플로우와 그 기술 구현 세부 사항을 안내하여, 과거 상상할 수 없었던 시간보다 짧은 시간에 수술 보조 로봇을 구축하도록 도와드리겠습니다.

SO-ARM 시작 워크플로우는 수술 보조 작업을 탐색하는 새로운 방식을 도입하며, 자율 수술 보조를 위한 완전한 엔드 투 엔드 파이프라인을 개발자에게 제공합니다:

• LeRobot 을 사용하여 SO-ARM 로 실제 세계 및 합성 데이터 수집
• IsaacLab 에서 GR00t N1.5 미세 조정 및 평가 후 하드웨어 배포

이 워크플로우는 수술실로 이동하기 전에 보조 기술을 훈련하고 정교화할 수 있는 안전하고 반복 가능한 환경을 개발자에게 제공합니다.

워크플로우는 시뮬레이션과 실제 하드웨어를 통합하는 3 단계 파이프라인을 구현합니다:

• 데이터 수집: SO101 와 LeRobot 을 사용하여 혼합된 시뮬레이션 및 실제 세계 원격 조작 데모
• 모델 훈련: dual-camera vision 으로 결합된 데이터셋에서 GR00T N1.5 미세 조정
• 정책 배포: RTI DDS 통신을 통한 물리적 하드웨어 실시간 추론

특히, 정책 훈련에 사용되는 데이터의 93% 이상이 시뮬레이션에서 합성적으로 생성되어, 로봇 데이터 격차를 해소하는 데 있어 시뮬레이션의 강점을 강조합니다.

워크플로우는 실제 세계 학습이 비용이 많이 들고 제한적이면서 순수 시뮬레이션은 종종 실제 세계의 복잡성을 포착하지 못하는 근본적인 도전을 해결하기 위해 시뮬레이션과 실제 세계 데이터를 결합합니다. 이 접근법은 다양한 시나리오와 환경 변화에 대해 약 70 개의 시뮬레이션 에피소드와 10-20 개의 실제 세계 에피소드를 사용하여 정통성과 지각을 제공합니다. 이러한 혼합 훈련은 어느 도메인에서도 일반화되는 정책을 만듭니다.

워크플로우는 다음이 필요합니다:

• GPU: GR00TN1.5 추론을 위한 RT Core 활성화 아키텍처 (Ampere 또는 이후) 및 ≥30GB VRAM
• SO-ARM101 Follower: dual-camera vision 을 갖춘 6-DOF 정밀 조작기 (손목과 실). SO-ARM101 은 손목 장착 카메라와 3D 프린팅 어댑터를 포함한 WOWROBO 시각 컴포넌트를 특징으로 합니다
• SO-ARM101 Leader: 전문가 데모 수집을 위한 6-DOF 원격 조작 인터페이스

특히, 개발자는 DGX Spark 에서 모든 시뮬레이션, 훈련 및 배포 (물리적 AI 를 위한 3 대 컴퓨터) 를 실행할 수 있습니다.

SO-ARM101 하드웨어 또는 LeRobot 에서 지원되는 다른 버전으로 실제 세계 데이터 수집을 위해:

python lerobot-record
--robot.type=so101_follower
--robot.port=<follower_port_id>
...

시뮬레이션 기반 데이터 수집을 위한 경우:

--enable_cameras \
...```

물리적 SO-ARM101 하드웨어를 보유한 사용자는 키보드 기반 원격 조작을 사용할 수 있습니다. 다음 관절 제어가 제공됩니다:

- Joint 1 (shoulder_pan): Q (+) / U (-)
- Joint 2 (shoulder_lift): W (+) / I (-)
- Joint 3 (elbow_flex): E (+) / O (-)
- Joint 4 (wrist_flex): A (+) / J (-)
- Joint 5 (wrist_roll): S (+) / K (-)
- Joint 6 (gripper): D (+) / L (-)
- R 키: 기록 환경 초기화
- N 키: 에피소드를 성공으로 표시

시뮬레이션과 실제 데이터를 모두 수집한 후, 훈련을 위해 데이터셋을 변환하고 결합합니다:

```python -m training.hdf5_to_lerobot \
--repo_id=surgical_assistance_dataset \
...```

훈련된 모델은 "수술용 칼날 준비" 또는 "클립을 건네달라"와 같은 자연어 지시를 처리하고 해당 로봇 동작을 실행합니다. LeRobot 최신 릴리스 (0.4.0) 를 사용하면 Gr00t N1.5 를 LeRobot 에서 네이티브로 미세 조정할 수 있습니다!

시뮬레이션은 루프의 일부일 때 가장 강력합니다: 수집 → 훈련 → 평가 → 배포.

v0.3 버전에서 IsaacLab 이 이 전체 파이프라인을 지원합니다:

- 키보드 또는 하드웨어 컨트롤러를 사용하여 로봇 원격 조작
- 다중 카메라 관측, 로봇 상태 및 동작 캡처
- 실제 환경에서 안전하게 수집할 수 없는 에지 케이스가 포함된 다양한 데이터셋 생성

- Isaac Lab 의 RL 프레임워크와 깊은 통합으로 PPO 훈련
- 병렬 환경 (동시에 수천 개의 시뮬레이션)
- 내장 경로 분석 및 성공 지표
- 다양한 시나리오에 대한 통계적 검증

- 프로덕션 배포를 위한 자동 최적화
- 동적 형식 및 다중 카메라 추론 지원
- 실시간 성능을 확인하기 위한 벤치마킹 도구

이것은 실험에서 배포까지의 시간을 단축하고 sim2real 을 일상 개발의 실용적인 부분으로 만듭니다.

Isaac for Healthcare SO-ARM Starter Workflow 는 이제 사용 가능합니다. 시작하려면:

- 저장소를 클론합니다:
`git clone https://github.com/isaac-for-healthcare/i4h-workflows.git`

- 워크플로우를 선택합니다: 수술 보조용 SO-ARM Starter 워크플로우로 시작하거나 다른 워크플로우를 탐색하세요.
- 설정을 실행합니다: 각 워크플로우에는 자동화된 설정 스크립트가 포함됩니다 (예:
`tools/env_setup_so_arm_starter.sh`
)

- GitHub 저장소: 전체 워크플로우 구현
- 문서: 설정 및 사용 가이드
- GR00T 모델: 사전 훈련된 기반 모델
- 하드웨어 가이드: SO-ARM101 설정 지침
- LeRobot 저장소: 엔드 투 엔드 로봇 학습