DreamForge-World 0.1 Preview: 저연산 실시간 제어 가능 월드 모델
요약
실시간 상호작용이 가능한 저연산 월드 모델인 DreamForge-World 0.1 Preview를 공개했습니다. 소비자용 GPU 환경에서 실시간 제어와 높은 비용 효율성을 목표로 설계되었습니다.
핵심 포인트
- Wan2.1-T2V-1.3B 기반의 자기회귀 비디오 스택 활용
- RTX 4090 단일 GPU에서 14~15 FPS 실시간 구동 가능
- 키보드, 마우스 제어 및 멀티모달 초기화 지원
- 저연산 적응 및 소비자용 GPU 런타임에 최적화
우리는 실시간 상호작용형 월드 시뮬레이션(world simulation)을 위한 프리뷰 기초 월드 모델(foundational world model)인 DreamForge-World 0.1 Preview를 선보입니다. 이 시스템은 Wan2.1-T2V-1.3B에서 파생된 LongLive 1 자기회귀(autoregressive) 비디오 스택을 Matrix-Game 제품군에서 영감을 얻은 잔차 액션 경로(residual action pathway)와 함께 적응시켰습니다. DreamForge-World 0.1 Preview는 최첨단 규모의 월드 시뮬레이터(frontier-scale world simulators)와 상호 보완적인 축인 저연산 적응(low-compute adaptation), 소비자용 GPU 런타임(consumer-GPU runtime), 그리고 광범위한 상호작용 능력 범위에 집중합니다. 이 모델은 실시간 키보드 및 마우스 제어, 멀티모달 초기화(multimodal initialization), 스트림 중간 리프롬프팅(mid-stream reprompting), 듀얼 뷰 작동(dual-view operation)을 지원하며, 네이티브 480p 해상도에서 분 단위의 상호작용 롤아웃(interactive rollouts)을 수행합니다. 또한 낮은 메모리 점유율로 단일 RTX 4090에서 최대 14~15 FPS에 도달합니다. 오픈 비디오 백본(open video backbones)을 활용하고 타겟팅된 적응 실행(adaptation runs)을 적용함으로써, 우리는 높은 비용 효율성을 가진 프리뷰 시스템을 구축했습니다. DF-World 0.1 Preview는 아직 메모리가 완벽하거나 최첨단 품질의 월드 시뮬레이터는 아니지만, 소비자용 GPU에서 실시간 제어 가능한 월드 모델 프리뷰를 향한 실용적인 저연산 경로를 보여줍니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기