시각적 생성 모델(Visual generative models)은 관찰의 합성과 환경 시뮬레이션 사이의 경계를 점점 모호하게 만들고 있습니다. 그러나 단순히 시각적인 그럴듯함만으로는 성공적인 세계 모델링을 구성할 수 없습니다. 흥미로운 결과물이라도 영속적인 상태, 물리적 역학(physical dynamics), 또는 상호작용에 대한 인과적으로 일관된 반응이 부족할 수 있기 때문입니다. 우리는 환경의 지속적인, 역사 조건화된 표현을 유지하고, 행동이나 개입에 대응하여 이 표현을 업데이트하며, 관찰되거나 반사실적인 개입 하에서의 결과를 반영하는 시간적으로 일관된 궤적(trajectories)을 생성하는 예측 동역학 시스템으로서 생성적 세계 모델(generative world model)을 정의합니다. 이 정의로부터 우리는 지각 기반(perceptual grounding), 영속적 상태 모델링(persistent state modeling), 제어 가능한 변환(controllable transformation), 동역학 인식 예측(dynamics-aware prediction), 그리고 폐쇄 루프 상호작용(closed-loop interaction)을 아우르는 지능 중심의 프레임워크를 도출합니다. 우리는 비디오, 3D 및 4D, 체화된 행동(embodied action), 그리고 상호작용 세계 시스템 전반에 걸쳐 재현 가능한 추론 및 평가를 위한 오픈 소스 인프라인 WorldFoundry를 제시합니다. WorldFoundry는 모델 및 벤치마크 발견, 런타임 및 에셋 준비, 실행 오케스트레이션(execution orchestration), 아티팩트 관리, 그리고 상호작용 시각화를 통합하며, 동시에 모달리티별 어댑터(modality-specific adapters)를 통해 네이티브 입력, 실행 의미론(execution semantics), 출력 표현, 평가 프로토콜을 보존합니다. 명시적 매니페스트(Explicit manifests), 영속적인 아티팩트 계약(durable artifact contracts), 그리고 증거 인식 점수카드(evidence-aware scorecards)는 실행 준비 상태와 평가 주장을 분리하여, 모든 주장이 이를 뒷받침하는 아티팩트로 추적 가능하게 만듭니다. 이 카탈로그에는 270개의 모델 항목, 74개의 벤치마크, 그리고 62개의 등록된 지표 항목이 포함되어 있으며, 준비 상태와 실행 증거가 별도로 기록됩니다. WorldFoundry는 이질적인 시스템 전반에 걸쳐 영속적이고 제어 가능한 동역학의 재현 가능한 비교를 가능하게 함으로써, 해당 분야를 지각 합성(perceptual synthesis)에서 측정 가능한 세계 지능으로 발전시키고 있습니다.
아카이브 (arXiv): https://arxiv.org/abs/2611.10771
PDF: https://arxiv.org/pdf/2611.10771
GitHub: https://github.com/OpenEnvision/WorldFoundry
프로젝트: https://openenvision.org/WorldFoundry/
스크린샷 등 더 많은 자료는 PDF 및 프로젝트 페이지를 확인하세요.
제출자: /u/pmttyji [링크] [댓글]
![[논문] WorldFoundry: 세계 지능을 위한 통합 인프라 구축 방향 대표 이미지](/api/thumb?u=https%3A%2F%2Fpreview.redd.it%2F789najtrls0i1.png%3Fwidth%3D140%26height%3D114%26auto%3Dwebp%26s%3D63edf49bac8641fbc9e8ed295441186e5de7ffed&w=640&s=6wMxWoX-BRiHtSogOabET3mo)