NVIDIA, 여러 플레이어가 동시에 존재할 수 있는 공유 세계를 생성하도록 AI 학습시켜

NVIDIA가 여러 플레이어가 실제로 동시에 존재할 수 있는 공유 세계 (shared world)를 생성하도록 AI를 학습시켰습니다.

오늘날 대부분의 "세계 모델 (world models)"은 단 하나의 관점에서만 작동합니다:
한 명의 플레이어, 하나의 카메라, 하나의 현실.

Gamma-World는 이를 변화시킵니다.

이제 여러 에이전트 (agents)가 동일한 AI 생성 환경 내에서 상호작용하며, 세계는 모든 관점에 걸쳐 일관성을 유지합니다.

한 플레이어가 무언가를 건설하면, 다른 플레이어들도 그것을 볼 수 있습니다.
동기화 오류 (desync)도, 분리된 현실도 없습니다.

기술적으로 흥미로운 점은 다음과 같습니다:

• 단 2명의 플레이어로 학습되었지만, 제로샷 (zero-shot)으로 4명 이상까지 확장 가능합니다.
• 24 FPS로 실시간 구동됩니다.
• "Simplex Rotary Encoding"을 사용하여 하드코딩된 플레이어 순서 없이도 에이전트들이 고유하게 유지됩니다.
• 비용이 많이 드는 전방향 통신 (all-to-all communication)을 Sparse Hub Attention으로 대체하여, 에이전트 간 연산량을 O(N²)에서 O(N)으로 줄였습니다.

다중 에이전트 세계 생성 (multi-agent world generation)을 실시간으로 실제로 일관되게 만들기 위한 @fangfu0830과 팀의 흥미로운 연구입니다.

더 큰 함의는 이것이 세계 모델을 수동적인 비디오 생성 (passive video generation)을 넘어 실제 공유된 시뮬레이션 (shared simulations)으로 이동시킨다는 점입니다.

그리고 이는 게임에만 국한되지 않습니다.

그들은 또한 동일한 시스템이 물리적 환경에서 실제 로봇 팔 (robot arms)을 조정하는 모습도 보여주었습니다.

여기서 확인해 보세요: