Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
CG-World는 월드 모델 학습을 위해 컴퓨터 그래픽스 파이프라인에서 추출한 대규모 월드 상태 데이터셋 및 프로토콜입니다. 멀티모달 시맨틱, 물리 캐시, 개입 학습을 위한 브랜치 계보 등을 포함하여 체화된 지능과 물리적 AI 연구를 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.GR (Graphics)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기월드 모델(World models)은 상태(states), 행동(actions), 이벤트(events), 관찰(observations)의 결합된 역학(joint dynamics)을 학습해야 하지만, 기존의 비디오, 로보틱스 및 시뮬레이션 데이터셋은 대개 이러한 구조의 일부만을 포착합니다. 우리는 산업용 컴퓨터 그래픽스(computer graphics) 제작 파이프라인에서 유도된 대규모 월드 상태(world-state) 데이터셋 및 프로토콜인 CG-World를 소개합니다. CG-World는 멀티모달 시맨틱(multimodal semantics), 공간 구조(spatial structure), 골격 및 컨트롤러 상태(skeletal and controller states), 모션 커브(motion curves), 카메라 및 조명 파라미터(camera and lighting parameters), 물리 캐시(physics caches), 접촉 이벤트(contact events), 그리고 멀티패스 렌더링(multi-pass renderings)을 포함한 중간 상태들을 명시적으로 기록합니다. CG-World v1은 시간적으로 정렬된 약 850,000개의 1~5초 길이 세그먼트(segments)를 포함합니다. 이는 잠재 상태(latent states), 관찰(observations), 관계(relations), 이벤트(events), 그리고 브랜치 메타데이터(branch metadata)를 분리하여 통합된 시공간 샘플(spatiotemporal samples)로 구성합니다. 개입 학습(intervention learning)과 반사실적 추론(counterfactual reasoning)을 지원하기 위해, CG-World는 사실적 궤적(factual trajectories), 관찰 개입(observation interventions), 행동 개입(action interventions), 메커니즘 개입(mechanism interventions), 그리고 엄격한 반사실적 브랜치(counterfactual branches)를 아우르는 브랜치 계보(branch lineage)를 정의하며, 개입 대상(intervention targets), 불변량(invariants), 그리고 대안적 결과(alternative outcomes)를 명시적으로 기록합니다. 우리는 기하학 조건부 비디오 생성(geometry-conditioned video generation), 행동 예측(action prediction), 그리고 폐쇄 루프 시각-언어-행동 정책 전이(closed-loop vision-language-action policy transfer)에서 이 데이터셋을 평가합니다. 결과에 따르면 CG-World는 제어된 생성(controlled generation), 행동 모델링(action modeling), 그리고 체화된 정책 전이(embodied policy transfer)를 위한 재사용 가능한 구조화된 감독(structured supervision)을 제공합니다. 우리는 월드 모델(world models), 물리적 AI(Physical AI), 그리고 체화된 지능(embodied intelligence)을 위한 공유 데이터 인프라를 향해 지속적인 데이터 수집과 커뮤니티 협업을 통해 CG-World를 확장할 계획입니다.