Project Genie: 무한하고 상호작용 가능한 세계를 실험하다

지난 8월, 우리는 다양하고 상호작용 가능한 환경을 생성할 수 있는 범용 세계 모델 (world model)인 Genie 3를 미리 선보였습니다. 초기 형태임에도 불구하고, 신뢰할 수 있는 테스터들은 인상적이고 매혹적인 범위의 세계와 경험을 만들어낼 수 있었으며, 이를 사용하는 완전히 새로운 방법들을 발견했습니다. 다음 단계는 몰입형 세계 생성에 초점을 맞춘 전용 상호작용 프로토타입을 통해 접근성을 확대하는 것입니다.

세계 모델 (world models)을 발전시키는 방법

세계 모델 (world model)은 환경의 역학 (dynamics)을 시뮬레이션하여, 환경이 어떻게 진화하고 행동이 환경에 어떤 영향을 미치는지 예측합니다. Google DeepMind는 Chess나 Go와 같은 특정 환경을 위한 에이전트 (agents)를 개발해 온 역사가 있지만, 범용 인공지능 (AGI)을 구축하기 위해서는 현실 세계의 다양성을 탐색할 수 있는 시스템이 필요합니다.

이 과제를 해결하고 우리의 AGI 미션을 지원하기 위해, 우리는 Genie 3를 개발했습니다. 정적인 3D 스냅샷 내에서 탐험 가능한 경험과는 달리, Genie 3는 사용자가 움직이고 세계와 상호작용함에 따라 앞길을 실시간으로 생성합니다. 이는 역동적인 세계를 위한 물리 법칙 (physics)과 상호작용을 시뮬레이션하며, 그 획기적인 일관성 (consistency)을 통해 로보틱스 (robotics), 애니메이션 및 픽션 모델링부터 장소 및 역사적 배경 탐색에 이르기까지 모든 실제 세계 시나리오를 시뮬레이션할 수 있습니다.

다양한 산업 및 도메인의 신뢰할 수 있는 테스터들과 함께한 모델 연구를 바탕으로, 우리는 실험적 연구 프로토타입인 Project Genie를 통해 다음 단계로 나아가고 있습니다.

Project Genie의 작동 방식

Project Genie는 Genie 3, Nano Banana Pro 및 Gemini를 기반으로 하는 프로토타입 웹 앱으로, 사용자가 우리 세계 모델의 몰입형 경험을 직접 실험할 수 있도록 합니다. 이 경험은 세 가지 핵심 기능에 집중되어 있습니다:

1. 세계 스케칭 (World sketching)

텍스트 프롬프트와 생성 또는 업로드된 이미지를 사용하여 살아 움직이며 확장되는 환경을 만듭니다. 캐릭터와 세계를 만들고, 걷기부터 타기, 날기, 운전, 그리고 그 이상의 무엇이든 당신이 원하는 탐험 방식을 정의하세요.

더욱 정밀한 제어를 위해, Nano Banana Pro와 연동된 “월드 스케칭 (World Sketching)” 기능을 통합했습니다. 이를 통해 당신의 세계가 어떤 모습일지 미리 확인하고, 본격적으로 뛰어들기 전에 이미지를 수정하여 세계를 미세 조정 (fine-tune)할 수 있습니다. 또한 1인칭 또는 3인칭과 같이 캐릭터의 시점 (perspective)을 정의할 수 있어, 환경에 진입하기 전에 장면을 어떻게 경험할지 제어할 수 있습니다.

2. 세계 탐험 (World exploration)

당신의 세계는 탐험을 기다리는 탐색 가능한 환경입니다. 이동함에 따라, Project Genie는 당신이 취하는 행동을 기반으로 앞길을 실시간으로 생성합니다. 세계를 가로질러 이동하는 동안 카메라를 조정할 수도 있습니다.

3. 세계 리믹싱 (World remixing)

기존 세계의 프롬프트 (prompt)를 기반으로 하여, 기존 세계를 새로운 해석으로 리믹싱할 수 있습니다. 갤러리에 큐레이션된 세계를 탐색하거나, 영감을 얻기 위해 랜덤 아이콘을 선택하여 그 위에 새로운 세계를 구축할 수도 있습니다. 작업이 완료되면, 당신의 세계와 탐험 과정을 담은 영상을 다운로드할 수 있습니다.

책임감 있는 구축 방식

Project Genie는 Genie 3를 기반으로 하는 Google Labs의 실험적인 연구 프로토타입 (research prototype)입니다. 범용 AI (general AI) 시스템을 향한 우리의 모든 작업과 마찬가지로, 우리의 사명은 인류에게 유익하도록 책임감 있게 AI를 구축하는 것입니다. Genie 3는 초기 연구 모델이므로, 개선이 필요한 몇 가지 알려진 영역이 있습니다:

• 생성된 세계가 완전히 실사처럼 보이지 않거나, 프롬프트, 이미지 또는 현실 세계의 물리 법칙 (physics)을 항상 밀접하게 따르지 않을 수 있음
• 캐릭터를 때때로 제어하기 어렵거나, 제어 시 더 높은 지연 시간 (latency)이 발생할 수 있음
• 생성 시간이 60초로 제한됨

탐험하는 동안 세계를 변화시키는 프롬프트 가능 이벤트 (promptable events)와 같이 우리가 8월에 발표했던 Genie 3 모델의 몇 가지 기능은 아직 이 프로토타입에 포함되지 않았습니다. 모델의 한계와 경험을 개선하기 위한 향후 업데이트에 대한 자세한 내용은 여기에서 확인할 수 있습니다.

미국(18세 이상)에서 시작하여, 적절한 시기에 더 많은 지역으로 확장할 예정입니다. 우리는 사용자들이 만들어낼 무한히 다양한 세계를 기대하고 있으며, 궁극적으로 우리의 목표는 이러한 경험과 기술을 더 많은 사용자에게 제공하는 것입니다.