표현 오토인코더(Representation Autoencoders)를 이용한 멀티플레이어 상호작용 월드 모델

원문 발행 2026. 07. 07. 02:31원문 언어 영어AI 한국어 번역arXiv cs.LG 원문 보기

요약

복잡한 물리적 상호작용이 발생하는 환경을 위한 최초의 멀티플레이어 월드 모델을 소개합니다. Rocket League 데이터를 활용해 50억 파라미터 규모의 잠재 확산 모델을 구축하였으며, 여러 에이전트의 행동을 조건으로 실시간 상호작용을 생성합니다.

핵심 포인트

여러 에이전트의 액션 스트림을 조건으로 하는 멀티플레이어 환경 모델링
50억 파라미터 규모의 잠재 확산 모델(Latent Diffusion Model) 사용
Nvidia B200 GPU 1대에서 4인 매치를 초당 20프레임으로 실시간 생성
학습 지평을 넘어 수 시간 동안 안정적인 롤아웃 유지 가능
데이터셋, 학습 및 추론 코드베이스, 라이브 데모 공개

우리는 복잡한 물리적 상호작용에 의해 지배되는 매우 역동적인 환경을 위한 최초의 멀티플레이어 월드 모델 (world model)을 소개합니다. 싱글 플레이어 월드 모델이 다른 에이전트들을 환경의 일부로 취급하는 것과 달리, 우리의 모델은 여러 에이전트의 액션 스트림 (action streams)을 조건으로 하며, 장면의 변화를 올바른 플레이어의 탓으로 돌리고 그들의 행동이 임의로 조합되는 상황에서도 일관성을 유지하도록 학습합니다. 우리는 플레이어들이 빠르고 긴밀하게 결합된 역학 관계 속에서 경쟁하고 협력하는 게임인 Rocket League에서 이 문제를 연구합니다. 공개적으로 사용 가능한 봇을 통해 수집된 10,000시간의 게임 플레이로 학습된 우리의 50억 파라미터 (5-billion-parameter) 잠재 확산 모델 (latent diffusion model)은 단일 Nvidia B200 GPU에서 초당 20프레임 (20 fps)을 생성하며 4인 매치를 실시간으로 생성합니다. 짧은 클립으로만 학습되었음에도 불구하고, 모델의 롤아웃 (rollouts)은 학습 지평 (training horizon)을 훨씬 넘어 안정적으로 유지됩니다. 분포적 품질 (distributional quality)은 우리가 측정한 가장 긴 지평인 5분까지 안정적으로 유지되며, 실제로 우리는 붕괴의 징후 없이 몇 시간 동안 지속되는 롤아웃을 관찰했습니다. 우리는 비디오 코덱 (video codec), 생성 목적 함수 (generative objective), 그리고 멀티플레이어 조건화 방식 (multiplayer conditioning scheme)과 같은 핵심 설계 선택 사항들을 체계적으로 조사합니다. 또한, 나타나는 능력과 지속되는 실패 모드 (failure modes)를 포함하여, 모델 및 데이터 규모에 따라 행동이 어떻게 변하는지 특성화합니다. 나아가 우리는 시각적 외형뿐만 아니라 모델의 물리적 이해도를 조사하는 타겟팅된 평가 방법을 개발합니다. 멀티플레이어 월드 모델에 대한 지속적인 연구를 지원하기 위해, 우리는 데이터셋, 전체 학습 및 추론 코드베이스, 그리고 라이브 데모를 공개합니다.

AI 자동 생성 콘텐츠

원문 바로가기

표현 오토인코더(Representation Autoencoders)를 이용한 멀티플레이어 상호작용 월드 모델

요약

핵심 포인트

댓글