Cosmos-Predict2.5를 기반으로 구축된 최초의 Cosmos-H-Dreams 릴리스는 수술 로봇 공학의 기초 검증 장소인 dVRK 테이블탑 봉합에 인터랙티브 생성 시뮬레이션을 가져왔습니다. 월드 파운데이션 모델(WFM)로서, Cosmos-H-Dreams는 수치 시뮬레이션의 대안을 입증했습니다. 즉, 장면 기하학, 조직 변형 및 물리적 상호작용을 명시적으로 모델링하는 대신, 동기화된 비디오와 로봇 운동학에서 시각 역학을 직접 학습하여 높은 현실성을 가진 인터랙티브 테이블탑 작업 시뮬레이션을 산출합니다.
오늘날 Cosmos3-H-Dreams는 CMR Surgical Versius 플랫폼에서 임상 절차 중 기록된 비디오 및 로봇 운동학으로부터 학습함으로써 이 기능을 발전시킵니다. 저희가 아는 한, 이는 실시간 생성 수술 시뮬레이터로서 임상 담낭절제술(cholecystectomy) 녹화 자료로 훈련되어 라이브 운동학 제어를 지원하는 최초의 사례입니다. Cosmos 3에 의해 구동되고 NVIDIA의 가속 스트리밍 추론 라이브러리인 FlashDreams로 가속된 Cosmos3-H-Dreams는 단일 NVIDIA RTX PRO 6000 GPU에서 인터랙티브하게 실행됩니다.
Cosmos-H-Dreams와 같은 통제된 테이블탑 환경에서는 기구들이 비교적 단순한 배경을 대상으로 작동합니다. 하지만 인체 내부에서는 작은 기구 움직임조차 전체 장면에 영향을 미칠 수 있습니다. 조직은 견인력에 의해 늘어나고, 반사광이 변하며, 구조물은 가려지고, 연기는 시야를 변화시킵니다. 초기 이미지와 제공된 도구 동작을 주어진 생성 시뮬레이터는 각 새로운 비디오 블록을 생성하는 동안 해부학적 구조와 기구를 보존하면서 이러한 반응을 포착해야 합니다. 작은 오류가 시간이 지남에 따라 누적되어 기구의 기하학적 형태나 해부학적 구조를 점진적으로 변화시킬 수 있으므로, 시간적 일관성(temporal consistency)이 필수적입니다.
따라서 시각적 사실성(Visual realism)은 생체역학적 정확성의 증거가 아니라 검증을 위한 출발점입니다. 생성된 장면은 또한 제어(controls)를 따라야 합니다. 즉, 이동(translation), 회전(rotation), 그리퍼 명령(gripper commands)이 일관된 해부학적 결과를 산출해야 합니다. 이러한 명령들을 무시하는 그럴듯해 보이는 전개 과정(rollout)은 상호작용 환경으로 활용될 수 없습니다.
실시간 제어 루프에서 이러한 충실도(fidelity)와 반응성(responsiveness)을 유지하려면 낮은 지연 시간(low latency generation)의 생성이 필요합니다. Cosmos3-H-Dreams는 임상 담낭 절제술(clinical cholecystectomy)에 특화되고 실시간 생성용으로 증류된 모델을 통해 이 설정을 해결하며, 복잡한 해부학 구조, 조직 움직임 및 폐색(occlusion)이 있는 장면 속으로 행동 기반 상호작용을 가져옵니다.
Cosmos3-H-Dreams는 Open-H-Embodiment에 사전 학습된 160억 개 매개변수 모델인 Cosmos3-H-Embodied-Nano를 기반으로 구축되었으며, 선별된 담낭 절제술 비디오와 운동학(kinematics)을 통해 양방향 교사(bidirectional teacher)를 특화합니다. 샘플 선택은 두 개의 눈에 보이는 작동 기구, 즉 왼쪽 Cadiere 그리퍼와 오른쪽 단극성 갈고리(monopolar hook)를 목표로 하며, 카메라 명령은 기구 주도 상호작용을 강조하도록 제한됩니다.
이 모델은 28개의 행동 차원(action dimensions)을 사용합니다: 두 팔의 자세 및 그리퍼 정보에 더하여 에너지 제어, 엄지 스틱 축(thumbstick axes), 그리고 엄지 스틱 버튼입니다. 학습에는 10 Hz로 정렬된 행동을 가진 832 x 480 비디오가 사용되며; 이 샘플링 속도는 런타임 생성 처리량과는 별개입니다.
Cosmos3-H-Dreams는 긴 자기회귀 전개 과정(long autoregressive rollouts)에 맞춰 설계된 교사-학생 학습 파이프라인과 FlashDreams를 통한 가속 스트리밍 추론(accelerated streaming inference)을 결합합니다.
우리는 먼저 24개의 미래 프레임에 대해 양방향 교사를 적응시킨 다음, 지평(horizon)을 72 프레임, 즉 10 Hz에서 2.4초 및 7.2초로 확장합니다. 이는 교사가 학습할 수 있는 수술 역학(surgical dynamics)에 대한 더 긴 시퀀스를 제공합니다.
다음으로, 증류(distillation)는 양방향 교사(bidirectional teacher)를 인과적 학생(causal student)으로 변환하여 새로운 동작이 도착함에 따라 짧은 블록 단위로 비디오를 생성할 수 있게 합니다. 인과적 교사 강제화(Causal teacher forcing)는 기록된 컨텍스트를 사용하여 순차적 생성을 위해 학생을 준비시킵니다. 자체 강제화(Self-Forcing)는 교사와 학습된 비평가(learned critic)의 안내를 받아 스스로 생성한 컨텍스트로 이를 훈련합니다. 이는 상호작용적인 롤아웃 과정 중 발생하는 오류 누적 문제를 해결하는 데 도움이 됩니다.
최초 출시된 학생 모델은 생성되는 각 블록마다 네 번의 노이즈 제거 단계(denoising steps)를 사용합니다. 이후 저희는 두 단계 스케줄(two-step schedule)을 사용하여 해당 학생 모델을 추가로 훈련하여 두 번째 출시 체크포인트를 만들었습니다. 이 두 단계 모델은 단순히 네 단계 모델에 샘플링 단계를 줄여 적용한 것이 아니라 별도로 훈련되었습니다.
노이즈 제거 단계가 적으면 시각적 품질은 낮아지지만 추론 시간(inference time)은 빨라집니다. 두 체크포인트 모두 개발자들이 시각적 품질과 추론 비용 사이의 균형을 탐색할 수 있게 합니다.
FlashDreams는 가속화된 스트리밍 런타임(accelerated streaming runtime)을 제공합니다. 긴 롤아웃 과정에서는 모델의 어텐션 히스토리(attention history)를 관리해야 할 필요도 있습니다. Cosmos3-H-Dreams 통합은 장기 롤아웃 동안 증가하는 키/값 캐시(key/value cache)를 통합하는 적응형 FadeMem 모듈을 사용합니다. 이는 자체 강제화와 상호 보완적입니다: 증류는 모델이 생성된 히스토리로부터 학습하는 방법을 다루고, 캐시 통합은 스트리밍 생성 과정에서 그 히스토리를 어떻게 저장하는지를 다룹니다.
임상 시술 중에는 합병증이 발생하거나 외과 의사가 '새로운' 동작을 수행할 여지가 있을 수 있습니다. 따라서 시뮬레이터는 훈련 데이터를 넘어 일반화(generalize)하고, 보지 못한 움직임에 대해서도 일관된 프레임을 생성할 수 있어야 합니다. 아래 데모 시연은 Cosmos3-H-Dreams가 VR 헤드셋으로 기록된 기구 동작을 조건으로 하여 다양한 담낭 절제술(cholecystectomy) 장면을 생성하는 것을 보여줍니다.
두 비디오는 동일한 초기 프레임에서 시작하지만, 서로 다른 동작 순서를 따르며, 기구 제어가 어떻게 물리적으로 정확한 조직 변형과 함께 같은 장면에 대한 뚜렷한 연속성으로 이어지는지를 보여줍니다.
더 나아가, 이러한 롤아웃(rollouts)은 기구가 제어 신호를 따르는지, 조직이 상호작용에 일관되게 반응하는지, 그리고 해부학적 및 기구의 외형이 시간이 지나도 일관성을 유지하는지를 검사할 수 있게 합니다.
Cosmos3-H-Dreams는 담낭 절제술(cholecystectomy)을 위해 4단계 및 2단계 체크포인트를 포함합니다. 이 시스템은 동기화된 비디오와 호환되는 액션 표현(action representations)을 가진 다른 데이터셋과 구현체에 맞게 조정될 수 있습니다. 자체 데이터셋으로 실시간 학생 모델(student model)을 훈련하려면, 저희의 단계별 가이드에서 교사 미세 조정(teacher fine-tuning) 및 자기 강제 증류(Self-Forcing distillation)에 대한 완벽한 레시피를 제공합니다. 이 가이드는 데이터 준비, 공개된 교사 훈련 도구, 그리고 증류 단계를 설명합니다. 컨트롤러 통합은 훈련과 동일한 액션 규칙(action conventions) 및 정규화(normalization)를 사용해야 합니다.
시각적 사실성(visual realism)의 발전은 여러 연구 방향을 열어줍니다:
전체 시술 모델링. 담낭 절제술의 모든 단계를 명확한 작업 경계와 성공 기준을 가지고 체계적으로 탐색할 수 있도록 커버리지와 시간적 일관성을 확장합니다.
생성 및 수치 시뮬레이션 연결. 학습된 시각적 사실성과 명시적인 기하학, 접촉 및 조직 역학을 결합합니다. 수치 모델과 측정 데이터는 변형을 제약하고 검증하는 데 도움을 줄 수 있어, 시뮬레이션 동작이 설득력이 있을 뿐만 아니라 검사 가능하게 만듭니다.
외과의사 평가. 해부학적 정확도, 기구 동작 및 조직 반응을 평가하여 전문가의 피드백을 재현 가능한 벤치마크로 전환합니다.
더 많은 기구 지원. 두 개의 제어된 도구를 넘어 더 풍부한 협응(coordination), 폐색(occlusion) 및 상호작용으로 나아갑니다.
자율 수술 정책 개발. 월드 액션 모델(world action models)을 Cosmos3-H-Dreams에 폐쇄 루프(closed loop)로 결합하여, 정책이 정의된 담낭 절제술 하위 작업을 학습할 수 있게 합니다.
이는 연구 방향이며 확립된 임상 역량은 아닙니다. Cosmos3-H-Dreams는 환자 치료를 위한 검증된 시스템이 아니라 연구 시뮬레이터입니다. 이는 점점 더 현실적인 환경에서 수술 상호작용을 연구하기 위한 기반을 제공합니다.
Cosmos3-H-Dreams의 모델, 데이터 및 런타임에 대해 알아보기:
- Cosmos3-H-Dreams 코드 및 예제: GitHub 저장소
- Cosmos3-H-Dreams 모델: Hugging Face 체크포인트
- Cosmos3-H-Embodied-Nano: Hugging Face 모델 및 GitHub 저장소
- 자체 데이터에 맞게 조정하기: 교사 파인튜닝(teacher fine-tuning) 및 셀프 포싱 증류(self-forcing distillation)를 위한 단계별 레시피
- Open-H-Embodiment: Hugging Face 데이터셋
- FlashDreams: GitHub 저장소
- NVIDIA Cosmos 3: GitHub 저장소
컨트롤러, 궤적(trajectories), 그리고 연구 질문을 가지고 오세요. 커뮤니티가 이 새로운 수술 환경 속에서 무엇을 만들어낼지 기대합니다.
