NVIDIA Cosmos 월드 모델 개발 플랫폼이 상호작용하는 월드 시뮬레이션 및 멀티센서 멀티뷰 주행 장면 생성을 위해 Cosmos 3 모델 패밀리에 네 가지 새로운 open-weight 체크포인트를 추가했습니다:
- 🌦️
Cosmos3-Nano-Transfer-Auto: 다양한 날씨, 조명 및 시간대의 멀티뷰 주행 데이터 생성. - 🚗
Cosmos3-Nano-Sim-Auto: 주행 시뮬레이션을 위한 동기화된 카메라 및 LiDAR 관측 스트리밍. - 🎨
Cosmos3-Nano-Sim-Transfer: 시뮬레이터 제어와 텍스트 프롬프트를 사실적인 비디오로 변환. - 🤖
Cosmos3-Nano-Sim-Bimanual: 로봇 또는 카메라 동작으로부터 비디오 예측.
네 가지 모델 모두 Cosmos 3 Nano의 후처리된 예시이며 16B 학습 가능한 파라미터를 가집니다. 이 모델들은 OpenMDW1.1을 사용하며, 해당 약관에 따라 상업적 및 비상업적 사용이 허가됩니다.
체크포인트 다운로드 · 기술 보고서 읽기 · 데모 시청
🦾 로보틱스는 변화하는 장면과 뷰포인트 전반에서 답변할 수 있는 환경을 필요로 합니다. 이 체크포인트들은 이를 구축하기 위한 상호 보완적인 방법을 제공합니다: Sim-Bimanual은 동작으로부터 시각적 결과를 예측하며, Sim-Transfer는 물리 시뮬레이터의 제어를 생성된 관측으로 변환합니다.
🚦 자율 주행의 경우, 외관과 기하학이 일치해야 합니다. 동기화된 카메라 및 LiDAR 생성을 통해 시각적 관측을 3D 센싱에 연결합니다. 장면 및 신호등 제어는 연구자들이 도로 레이아웃과 신호 상태를 변경하여 주행 정책이 어떻게 반응하는지 연구할 수 있게 합니다.
🔄 각 관측은 다음 동작을 형성할 수 있습니다. 스트리밍 생성(Streaming generation)은 비디오 예측을 지속적인 상호작용에 연결하여, 월드 모델 연구자들이 동작과 관측이 함께 전개되는 방식을 탐색할 수 있는 방법을 제공합니다.
🌐 다른 사람들이 구축할 수 있는 오픈 기반입니다. NVIDIA의 비전은 연구원과 개발자들이 더 풍부하고 반응성이 뛰어난 시뮬레이션 월드를 만들도록 돕는 것입니다. 오픈 가중치(Open weights)와 사후 훈련 레시피(post-training recipes)는 모델을 적응시키고, 방법론을 비교하며, 개선 사항에 기여하기 위한 공유된 시작점을 제공합니다. 이러한 문제들은 여전히 어렵습니다. 앞으로의 과제는 모델이 정책 학습 및 평가를 얼마나 충실하게 지원하는지 측정하고, 그 한계를 이해하며, 부족한 부분을 개선하는 것입니다.
Cosmos3-Nano-Transfer-Auto는 오프라인 합성 주행 데이터 생성을 위한 양방향(bidirectional) 모델입니다. 이 모델은 파인아이(fisheyes)를 포함하여 최대 11개 카메라 뷰에 걸쳐 동기화된 비디오를 생성하며, 공동 RGB–LiDAR 생성을 지원합니다. 카메라별 월 시나리오 맵(World Scenario Map, WSM) 제어는 장면 구조와 교통 움직임을 지정하고, 텍스트 프롬프트는 외관을 안내합니다.
개발자들은 환경 조건을 다양하게 변경하여 학습 및 평가 범위를 확장할 수 있으며, 장면 외관을 고정하기 위한 선택적 초기 RGB 이미지를 사용할 수 있습니다. 공동 LiDAR 생성은 추가적으로 정렬된 HD-map 범위 맵(range-map) 제어를 사용합니다. Transfer-Auto는 또한 Cosmos를 자체 센서 장비와 주행 도메인에 적응시키는 기반 역할을 합니다. 카메라 레이아웃, LiDAR 구성 및 목표 환경을 수용하기 위해 먼저 데이터를 사용하여 사후 훈련하는 것부터 시작하십시오. 이렇게 적응된 모델은 오프라인 데이터 생성에 직접 사용되거나, 빠른 스트리밍 시뮬레이션을 위해 인과적 훈련(causal training) 및 소수 단계 증류(few-step distillation)를 거칠 수 있습니다. (이는 Cosmos3-Nano-Sim-Auto를 생성하는 데 사용된 개발 경로입니다.)
에이전트를 오픈 스킬로 안내하세요: Cosmos3-Nano-Transfer-Auto로 추론 실행하기
노트북을 선호하시나요? Transfer-Auto 열기.
Cosmos3-Nano-Sim-Auto는 Transfer-Auto의 인과적으로 증류된 스트리밍 변형 모델입니다. 이 모델은 생성된 히스토리와 업데이트된 주행 제어를 사용하여 단 몇 번의 노이즈 제거 단계만으로 연속적인 작은 청크의 동기화 카메라 비디오 및 LiDAR를 생성하여 빠른 스트리밍과 길고 상호작용적인 롤아웃을 지원합니다.
카메라별 캡션과 동기화된 WSM(World Simulation Model) 제어값을 제공하고, 선택적으로 초기 RGB 이미지를 추가합니다. LiDAR 생성을 위해서는 카메라 제어값에 맞춰 HD-Map 범위 제어값을 포함해야 합니다. 증류된 모델은 자체의 순환 이력(rolling history)을 사용하여 연속적인 청크를 생성합니다. 폐쇄 루프 상호작용(Closed-loop interaction)에는 구동 입력으로부터 해당 제어값을 업데이트하기 위한 시뮬레이션 런타임과 WSM 렌더러가 필요합니다. 새로운 센서 장비나 도메인의 경우, 먼저 Transfer-Auto를 적용한 다음 Sim-Auto로 증류해야 합니다.
에이전트를 오픈 스킬로 지정하세요: Cosmos3-Nano-Sim-Auto를 사용하여 추론 실행하기
노트북을 선호하시나요? Sim-Auto 열기.
시뮬레이터는 움직임(motion), 접촉(contacts), 그리고 물리적 상태를 계산합니다. Sim-Transfer는 공간 제어값과 텍스트 프롬프트를 사용하여 정책(policy)이 소비할 수 있는 색상 관찰 결과를 렌더링합니다.
액션(Action) → 시뮬레이터 업데이트 → 공간 제어값 → 생성된 RGB → 다음 정책 액션
깊이(Depth): 카메라로부터의 상대적 거리.분할(Segmentation): 영역 및 객체 경계.엣지(Edges): 장면 윤곽선(scene contours).블러(Blur): 거친 외관 및 레이아웃.
텍스트가 외관을 안내하며, 물리 및 실제 상태는 시뮬레이터에 남아 있습니다.
깊이 제어(Depth control)를 비디오로
분할 제어(Segmentation control)를 비디오로
에이전트를 오픈 스킬로 지정하세요: Cosmos3-Nano-Sim-Transfer를 사용하여 추론 실행하기
노트북을 선호하시나요? Transfer 사용하기.
입력 프레임(Input Frames)
Sim-Bimanual 시뮬레이션 체크포인트로부터의 출력 비디오(Output Video From Sim-Bimanual Simulation Checkpoint)
Cosmos3-Nano-Sim-Bimanual은 양손(bimanual) 로봇의 동작에 반응하여 환경이 어떻게 진화하는지 시뮬레이션합니다. 이는 정책 또는 사람이 조작하는 조이스틱으로 제어되는 YAM 및 AgiBot 구현체에 대한 인터랙티브 투암(two-arm) 시뮬레이션을 지원합니다.
이미지로 시작하여 로봇이나 카메라를 움직이고 다음 관찰 결과를 생성할 수 있습니다. 하나의 제어 시퀀스는 시점 변경과 조작 사이를 전환할 수 있습니다.
혼합 액션(mixed-action) 예제는 59개의 제어값을 사용하며, 학습 중에는 64개로 패딩됩니다. 이 스키마는 좌표계 프레임(coordinate frames), 회전(rotations), 그리퍼 보정(gripper calibration), 유효성 마스크(validity masks), 그리고 제어 도메인(control domains)을 정의합니다. 각 값이 의도된 움직임을 설명하도록 해당 규칙을 따르십시오.
타이밍을 맞추세요: T 시점의 전환은 T+1 관측값이 필요합니다. 학습 과정(Training)은 원본 캡처를 모델의 행동 표현으로 변환하며, 배포되는 추론(inference) 행동값은 이미 정규화되어 있습니다.
여기서 Sim-Transfer는 물리 시뮬레이터의 업데이트된 상태로부터 시각 자료를 생성하며, Sim-Bimanual은 장면과 로봇 행동으로부터 다음 관측값을 직접 생성합니다.
데이터 계약(data contract) 및 행동 스키마(action schema)를 참조하세요.
요구 사항: Linux, NVIDIA GPU, Docker, 그리고 NVIDIA Container Toolkit이 필요합니다. 게시된 vLLM-Omni 설정은 GB200 한 대에서 테스트되었으며, 이는 최소 메모리 사양은 아닙니다. 서버가 가중치(weights)를 다운로드하고, 클라이언트가 샘플 입력값을 가져옵니다.
에이전트를 오픈 스킬로 지정하세요: Cosmos3-Nano-Sim-Bimanual을 사용하여 추론 실행
노트북이 좋으신가요? Bimanual 열기
Cosmos 3의 Mixture-of-Transformers 백본은 어텐션(attention)을 통해 분리된 텍스트 처리 네트워크와 시각 생성 네트워크를 연결합니다. 생성기(generator)는 프롬프트, 사용 가능한 제어 장치(controls), 그리고 생성된 기록으로부터 각 짧은 세그먼트를 예측합니다.
제어 장치 + 기록 $
ightarrow$ 청크 생성 $
ightarrow$ 이미지 디코딩 $
ightarrow$ 기록 업데이트
디노이징(Denoising)은 잡음이 많고 압축된 비디오 표현을 세그먼트로 정제합니다. 시간적-인과 어텐션(Temporal-causal attention)은 미래의 목표 관측값을 차단하는 동시에 사용 가능한 기록 및 제어 장치를 읽을 수 있게 합니다. 키/값 캐시(key/value cache)는 다음 예측을 위해 어텐션 정보를 유지합니다.
이 모델은 라텐트(latents)라고 불리는 압축된 비디오 표현으로 작동합니다. 초기 이미지를 제외하고, 각 라텐트 시간 단계는 네 개의 RGB 프레임을 나타냅니다. Transfer는 청크당 한 단계를 예측하는 반면, 보고서에 있는 최적화된 Bimanual 설정은 두 단계를 예측합니다. 더 작은 청크는 새로운 제어 장치가 생성에 더 자주 영향을 미치도록 합니다.
Stage 0— 양방향 적응(Bidirectional adaptation): 완전하게 기록된 클립으로부터 도메인과 그 제어 신호(control)와 비디오 간의 관계를 학습합니다.Stage 1— 교사 강제(Teacher forcing): 이전에 기록된 관측치 및 사용 가능한 제어 신호로부터 각 청크를 예측하며, 깨끗한 정답과 미래 목표는 마스킹 처리됩니다.Stage 2— 일관성 증류(Consistency distillation): 고정된 교사 모델을 사용하여 각 청크를 네 단계의 노이즈 제거(denoising) 과정을 통해 생성하는 학생 모델을 훈련합니다.Stage 3— 자체 강제(Self-forcing): 학생이 생성한 기록을 기반으로 학습합니다. 고정된 교사 모델과 보조 점수 모델(auxiliary score model)이 분포 일치 신호(distribution-matching signal)를 공급합니다.
최종 단계가 중요한 이유: 약간 잘못 예측된 객체는 이후 프레임의 컨텍스트가 되므로, 오류가 누적될 수 있습니다. 자체 강제(Self-forcing)는 훈련을 이러한 생성된 기록에 노출시킵니다. 증류(Distillation)와 캐싱(caching)은 각 관측치를 생성하는 비용을 줄여줍니다.
후처리 레시피는 Cosmos3-Nano 또는 호환되는 기본 가중치에서 시작하며 네 가지 모든 단계를 다룹니다. 재개하려면 전체 훈련 체크포인트(checkpoint)를 유지하십시오. 내보낸 추론 가중치에는 최적화기(optimizer) 및 기타 훈련 상태가 제외됩니다.
Transfer-auto: 주행 데이터를 사용하여 후처리하여 센서 장비와 도메인에 적응하고 오프라인 합성 데이터를 생성합니다.
Sim-auto: 빠른 스트리밍 시뮬레이션을 위해 적응된 Transfer-Auto 모델에 인과적 훈련(causal training) 및 증류를 적용합니다.
Sim-Transfer: 로컬 데이터 준비, 단계 구성, 그리고 재개를 통해 환경의 체크포인트를 후처리합니다.
Sim-Bimanual: 데이터 검증, 단계 구성, 체크포인트 핸드오프(handoff), 그리고 내보내기를 통해 구현체(embodiment)를 위해 후처리합니다.
코딩 에이전트에게 기술과 데이터셋 위치를 제공하십시오. 환경 검사를 따르고, 샘플을 검증하며, 장시간 실행 전에 훈련 및 재시작을 테스트하십시오. 보유된 에피소드(held-out episodes)에서 품질을 평가하십시오: 성공적인 짧은 실행은 수렴(convergence)이 아닌 실행(execution)을 검증합니다.
