Gemini Omni는 학습된 물리 엔진이다 — Unity와 비슷하지만 규칙이 코딩되어 있지 않다: Google I/O 2026 리뷰 (5부작

Gemini Omni는 학습된 물리 엔진(Learned Physics Engine)이다 — Unity와 비슷하지만 규칙이 코딩되어 있지 않다. Google I/O 2026 리뷰 — 5부작 중 3부. 대부분의 비디오 생성 모델(video generation models)은 물리학을 흉내 냅니다. 이들은 중력이 어떻게 보이는지 — 공이 떨어지거나 천이 드리워지는 방식 — 를 학습하여 시각적 패턴을 재현합니다. 장면을 학습 데이터가 다루지 않은 범위를 넘어서 밀어붙이면 상황이 깨지기 시작합니다. 구슬이 제대로 튀지 않거나, 조명을 편집한 후 그림자가 잘못된 방향을 가리키기도 합니다. 배경을 바꾸면 캐릭터가 다른 사람으로 변형되기도 합니다. Gemini Omni는 다른 방식을 취합니다. 이 모델은 프레임 전반에 걸쳐 물리 법칙과 정체성(identity)을 유지합니다. 이는 누군가가 시스템에 중력 = 9.8을 코딩했기 때문이 아니라, 모델이 물리적 세계가 작동하는 방식에 대한 내부 표현(internal representation)을 구축했기 때문입니다. 이 차이는 데모 영상이 보여주는 것보다 훨씬 더 중요합니다.

모두를 놀라게 한 데모들
I/O 2026의 세 가지 데모는 Omni가 무엇을 할 수 있는지 보여주었습니다.

손으로 그린 캐릭터를 애니메이션으로. 누군가 종이에 캐릭터를 스케치하여 업로드하자, Omni는 이를 10초짜리 애니메이션 스토리로 변환했습니다. 단순한 시차(parallax) 효과가 있는 정지 이미지가 아니라, 움직임과 표정 변화, 그리고 일관된 장면을 가진 실제 애니메이션이었습니다.

구슬 물리 법칙(Marble physics). 연쇄 반응 트랙을 따라 튀어 내려가는 구슬. 중력은 적절한 속도로 구슬을 끌어당겼습니다. 튀어 오르는 궤적은 충돌 각도와 일치했습니다. 각 튀어 오름은 마지막의 종소리를 포함하여 뚜렷한 소리를 만들어냈습니다. 물리학은 근사치에 그치지 않았습니다. 마치 시뮬레이션된 것처럼 보였습니다.

클레이메이션(Claymation) 단백질 접힘. 단 하나의 프롬프트로 클레이메이션 스타일의 단백질 접힘(protein folding)을 보여주는 교육용 비디오를 생성했습니다. 점토 질감은 시퀀스 전반에 걸쳐 일관되게 유지되었습니다. 접힘 동작은 생물학적으로 타당한 메커니즘을 따랐습니다.

단 하나의 프롬프트. 키프레임(keyframes)도, 리깅(rigging)도 필요 없었습니다. ChatPRD의 한 리뷰어는 이를

Sora로 생성된 장면에서 배경을 바꾸면 캐릭터가 종종 표류(drifts)하곤 합니다. 얼굴 형태, 옷 색상, 신체 비율이 미묘하게 변합니다. 모델은 캐릭터가 동일하게 유지되어야 한다는 사실을 알지 못합니다. 모델은 이것이 동일한 개체라는 이해를 바탕으로 하는 것이 아니라, 이전 프레임과의 시각적 유사성(visual similarity)을 기반으로 각 프레임을 생성하기 때문입니다. Omni는 편집 후에도 정체성(identity)을 유지합니다. 배경을 숲에서 주방으로 바꿉니다. 조명을 따뜻한 톤에서 차가운 톤으로 변경합니다. 소품을 교체합니다. 캐릭터는 동일하게 유지됩니다. 같은 얼굴, 같은 비율, 같은 옷을 입고 있습니다. Google의 주장에 따르면, 이 모델은 장면의 맥락(context)과 독립적으로 객체와 그 속성에 대한 지속적인 표현(persistent representation)을 유지합니다. 이것은 비디오 생성 분야에서 가장 어려운 문제이며, 대부분의 생성된 비디오가 불쾌한 골짜기(uncanny)를 느끼게 하는 이유입니다. 3초 동안은 제대로 보이는 것 같다가, 곧 무언가 어긋나기 시작합니다.

Unity 비유 — 그리고 이것이 여기서 중요한 이유

제가 계속해서 되돌아오게 되는 사고 모델(mental model)은 Unity 비유입니다. Unity나 Unreal에서 물리(physics)가 작동하는 이유는 엔지니어들이 규칙을 작성했기 때문입니다. Rigidbody.AddForce()는 뉴턴 역학(Newtonian mechanics)을 적용합니다. 충돌 감지(Collision detection)는 수학적 경계 볼륨(bounding volumes)을 사용합니다. 중력은 상수(constant)입니다. 엔진은 코드를 실행함으로써 세계를 시뮬레이션합니다. Omni는 개념적으로 유사한 작업, 즉 프레임 전반에 걸쳐 물리를 유지하는 작업을 수행하지만, 다른 메커니즘을 통해 이를 수행합니다. 규칙은 코딩되어 있지 않습니다. 학습된 것입니다(learned). 모델은 방대한 양의 비디오 데이터를 처리함으로써 중력, 빛, 운동량(momentum), 그리고 물질적 속성(material properties)이 어떻게 작동하는지를 내재화했습니다. 모델은 연구자들이 '월드 모델(world model)'이라고 부르는 것, 즉 새로운 프레임을 생성할 때 적용하는 물리 법칙의 내부 표현(internal representation)을 구축했습니다.

이렇게 생각해보세요:

| 구분 | 게임 엔진 (Unity) | 학습된 물리 (Omni) |
| :--- | :--- | : |
| 물리 규칙 | 명시적으로 코딩됨 ( F = ma ) | 데이터로부터 암묵적으로 학습됨 |
| 객체 정체성 | 객체 ID를 통해 추적됨 | 내부 표현 (internal representation)을 통해 유지됨 |
| 편집 동작 | 결정론적 (Deterministic) — 동일한 입력, 동일한 출력 | 확률론적 (Probabilistic) — 하지만 생성 내에서는 일관됨 |
| 새로운 시나리오 | 코드가 처리하는 범위 내에서만 가능 | 학습 데이터 패턴으로부터 일반화됨 |
| 실패 모드 | 눈에 띄는 충돌(Crash) 또는 글리치(Glitch) 발생 | 미묘하게 저하됨 (불쾌한 골짜기, uncanny valley) |

게임 엔진 방식에는 알려진 한계와 강점이 있습니다. 당신이 직접 물리 법칙을 작성했기 때문에 그 물리 법칙을 신뢰할 수 있습니다. 학습된 방식은 그 확실성을 일반성 (generality)과 맞바꿉니다. 충돌 처리기 (collision handler)를 누군가 먼저 작성할 필요가 없기 때문에, 아무도 예상하지 못한 시나리오도 처리할 수 있습니다. 제 전체 I/O 리뷰에 썼던 문구가 계속 머릿속을 떠나지 않습니다. "Unity와 비슷하지만, 규칙이 코딩된 것이 아니라 이해된 것이다."

실질적인 영향: 데모 영상 그 이상의 가치
비용 구조를 변화시킬 세 가지 구체적인 사용 사례입니다.

1. YouTube 썸네일 및 숏폼 비디오. 현재 30초짜리 제품 애니메이션을 위해 200~500달러를 지불하는 1인 크리에이터가 프롬프트로 장면을 설명할 수 있습니다. 만약 Omni가 거의 제로에 가까운 한계 비용 (marginal cost)으로 품질의 70%만이라도 구현해낸다면, 모든 소규모 크리에이터와 인디 팀의 콘텐츠 제작 경제학이 변화할 것입니다.

2. 제품 워크스루 (walkthrough) 영상. SaaS 기업들은 설명 영상 하나당 5,000~15,000달러를 지출합니다 (스크립트, 모션 그래픽, 성우, 수정 작업 포함). 객체 영속성 (object permanence)을 이해하는 월드 모델 (world model)이 있다면, 워크스루 영상을 생성하고 다음 버전에 맞춰 UI 스크린샷만 교체해도 영상의 일관성이 유지됩니다. 수정 주기 (revision cycle)가 획기적으로 단축됩니다.

3. 교육용 콘텐츠. 클레이 애니메이션 스타일의 단백질 접힘 (protein-folding) 데모는 단순한 눈요기가 아닙니다. 만약 생물 교사가 "스톱모션 클레이 스타일로 체세포 분열(mitosis)을 30초 동안 보여줘"라고 프롬프트를 입력했을 때 교실에서 사용하기에 충분히 정확한 결과물을 얻을 수 있다면, 그것은 텍스트 박스 안에 들어있는 제작 스튜디오와 같습니다.

공통된 핵심은 다음과 같습니다: Omni는 시각적 스토리텔링의 비용을 "팀을 고용하는 것"에서 "한 단락을 쓰는 것"으로 줄여줍니다. Hollywood를 위한 것도, AAA 게임을 위한 것도 아닙니다. 이전에는 아무도 제작할 여력이 없었던 롱테일 (Long tail) 콘텐츠를 위한 것입니다.

아직 할 수 없는 것: 이 섹션은 데모 영상보다 더 중요합니다. 이 기술은 아직 프리뷰 (Preview) 단계입니다. Google은 무대 위에서 선별된 데모만을 보여주었습니다. 우리는 실패 사례들, 즉 기괴한 손 모양, 물리 엔진의 글리치 (Glitch), 87번째 프레임에서 정체성이 어긋나는 순간 등을 보지 못했습니다. 모든 생성 모델 (Generative model)은 키노트 (Keynote)에서는 놀라워 보입니다. 문제는 당신이 직접 실행하는 50번째 생성에서 어떤 일이 벌어지느냐 하는 것입니다.

롱폼 (Long-form)은 아직 검증되지 않았습니다. 데모는 10초였습니다. 1분, 2분, 혹은 5분이 되면 어떻게 될까요? 월드 모델 (World model)은 시간이 지남에 따라 성능이 저하됩니다. N번째 프레임의 작은 오류가 N+100번째 프레임에서는 복합적으로 쌓이게 됩니다. Omni가 더 긴 시간 동안 일관성 (Coherence)을 유지할 수 있을지는 미지수입니다. Omni Flash 클립은 10초로 제한되어 있으며, Sora는 최대 60초까지 지원합니다.

프로덕션급 (Production-grade) 품질은 검증되지 않았습니다. "인상적인 데모"와 "이것을 고객에게 출시할 수 있다"는 기준은 서로 다릅니다. 색상 정확도, 해상도 일관성, 다양한 프롬프트 하에서의 아티팩트 (Artifact) 발생률 등은 외부 사용자에 의해 대규모로 테스트되지 않았습니다.

가격은 알려지지 않았습니다. 물리적으로 일관된 비디오를 생성하는 월드 모델은 계산 비용 (Computationally expensive)이 많이 듭니다. 만약 Omni의 가격 책정이 Flash 세대 전반에 걸쳐 가격이 가파르게 상승했던 Flash의 궤적을 따른다면, 비용 계산상 도입이 기업 단위로 제한될 수 있습니다.

이것이 큰 그림에서 차지하는 위치: Omni는 비디오 편집기가 아닙니다. 모션 그래픽 도구도 아닙니다. 그것은 비디오를 출력하는 월드 시뮬레이터 (World simulator)입니다. 이러한 프레임워크는 비교 대상을 바꿉니다. Sora와 Runway는 비디오 생성기 (Video generators)입니다. 즉, 텍스트를 픽셀로 변환합니다. Omni는 출력물을 비디오 프레임으로 렌더링하는 물리 엔진 (Physics engine)에 더 가깝습니다. 차이점은 시스템이 장면을 이해하고 있는지, 아니면 단순히 그려내고 있는지에 있습니다. 만약 그 이해력이 선별된 데모 외부에서도 유지된다면 — 그리고 이는 진정한 의문입니다만 — 그 영향은 콘텐츠 제작 그 이상으로 확장될 것입니다.

로보틱스 시뮬레이션 (Robotics simulation), 건축 시각화 (architectural visualization), 과학적 모델링 (scientific modeling), 게임 프로토타이핑 (game prototyping). "만약 ~한다면 어떻게 될지 보여줘"라는 질문이 필요한 모든 분야가 잠재적인 사용 사례 (use case)가 됩니다. 현재로서는 이것은 프리뷰 (preview)입니다. 매우 인상적인 프리뷰 말이죠. 하지만 프리뷰일 뿐입니다. 제가 다음에 주목하고 있는 것은 다음과 같습니다: 공개 API 접근 권한, 가격 책정, 그리고 60초 이상의 클립에서 정체성 지속성 (identity persistence)에 대한 첫 번째 독립적 벤치마크 (benchmarks). 데모는 기준을 세웠습니다. 제품은 그 기준을 통과해야 합니다. 만약 여러분이 Gemini Omni를 추적하고 있거나 다른 월드 모델 (world-model) 접근 방식을 테스트해 보았다면, 여러분이 본 것에 대해 듣고 싶습니다. 댓글이나 GitHub로 알려주세요. 출처: Gemini Omni hands-on — 9to5Google ChatPRD review Google I/O 2026 keynote 한국어 번역 Gemini Omni는 학습된 물리 엔진이다 — Unity처럼, 하지만 규칙이 코딩된 게 아니다 Google I/O 2026 리뷰 — 5부작 중 3편 대부분의 영상 생성 모델은 물리를 흉내 낸다. 중력이 어떻게 보이는지 학습한다 — 공이 떨어지고, 천이 늘어지고 — 그 시각 패턴을 재현한다. 훈련 데이터가 커버하지 못한 장면을 밀어붙이면 무너진다. 구슬이 제대로 튕기지 않는다. 조명을 바꾸면 그림자가 엉뚱한 방향을 가리킨다. 배경을 바꾸면 캐릭터가 다른 사람으로 변한다. Gemini Omni는 다른 걸 한다. 프레임 간에 물리와 정체성을 유지한다 — 누군가가 시스템에 gravity = 9.8 을 코딩했기 때문이 아니라, 모델이 물리 세계가 어떻게 작동하는지의 내부 표현 (internal representation)을 구축했기 때문이다. 그 차이가 데모 릴이 보여주는 것보다 훨씬 중요하다. 방을 멈춘 데모 세 가지 I/O 2026에서 Omni가 보여준 데모 세 가지. 손그림에서 애니메이션으로. 누군가 종이에 캐릭터를 그리고, 업로드하면, Omni가 10초짜리 애니메이션 이야기로 만들었다. 패럴랙스 (parallax)가 걸린 정지 이미지가 아니라 — 움직임, 표정 변화, 일관된 장면이 있는 실제 애니메이션이다. 구슬 물리. 체인 리액션 (chain reaction) 트랙을 굴러내려가는 구슬. 중력이 정확한 속도로 끌어당겼다. 바운스 (bounce) 궤적이 충돌 각도와 맞았다. 각 바운스마다 다른 소리가 났고, 끝에 벨 소리가 울렸다. 물리가 대충이 아니었다. 시뮬레이션처럼 보였다. 클레이메이션 단백질 접힘. 프롬프트 하나가 클레이메이션 스타일로 단백질 접힘 (protein folding)을 보여주는 교육 영상을 생성했다. 점토 질감이 시퀀스 전체에서 일관됐다. 접힘 동작이 생물학적으로 그럴듯한 역학을 따랐다. 프롬프트 하나. 키프레임 (keyframe) 없음. 리깅 (rigging) 없음. ChatPRD 리뷰어는 이걸 "그날 가장 인상적인 데모"라고 불렀다. 키노트 전체와 핸즈온 (hands-on) 세션을 다 본 입장에서, 동의한다. Sora와 뭐가 다른가 모든 영상 생성 모델이 인상적인 단편 클립을 만들 수 있다. 테스트는 편집할 때 일어난다. Sora 생성 장면에서 배경을 바꾸면, 캐릭터가 종종 흔들린다 — 미세한 얼굴 형태 변화, 옷 색상 변경, 체형 비율 변동. 모델이 캐릭터가 같은 사람이어야 한다는 걸 모르기 때문이다. 이전 프레임과의 시각적 유사성을 기반으로 각 프레임을 생성하지, 이것이 같은 개체라는 이해에 기반하는 게 아니다. Omni는 편집 후에도 정체성을 유지한다. 배경을 숲에서 주방으로 바꿔라. 조명을 따뜻한 것에서 차가운 것으로 바꿔라. 소품을 교체하라. 캐릭터가 그대로다 — 같은 얼굴, 같은 비율, 같은 옷. 구글의 주장은 모델이 장면 맥락과 무관하게 객체와 속성의 지속적 표현을 유지한다는 것이다.

이것이 영상 생성에서 가장 어려운 문제이고, 생성 영상이 불쾌한 골짜기 (Uncanny Valley)에 빠지는 이유다. 3초 동안은 맞아 보인다. 그 다음 뭔가 변한다. Unity 비유 — 왜 중요한가 계속 돌아오게 되는 멘탈 모델 (Mental Model) 이 이거다. Unity나 Unreal에서 물리가 작동하는 건 엔지니어가 규칙을 코딩했기 때문이다. Rigidbody.AddForce() 가 뉴턴 역학을 적용한다. 충돌 감지 (Collision Detection) 가 수학적 바운딩 볼륨 (Bounding Volume) 을 쓴다. 중력은 상수다. 엔진이 코드를 실행해서 세계를 시뮬레이션한다. Omni는 개념적으로 비슷한 일을 한다 — 프레임 간 물리를 유지 — 하지만 다른 메커니즘으로. 규칙이 코딩된 게 아니다. 학습된 것이다. 모델이 엄청난 양의 영상 데이터를 처리하며 중력, 빛, 운동량, 재질 속성이 어떻게 행동하는지를 내면화했다. 연구자들이 세계 모델 (World Model) 이라 부르는 것 — 새 프레임을 생성할 때 적용하는 물리 법칙의 내부 표현 — 을 구축한 것이다.

게임 엔진 (Unity)	학습된 물리 (Omni)
물리 규칙 명시적 코딩 ( F = ma )	데이터에서 암시적 학습
객체 정체성: 객체 ID로 추적	내부 표현으로 유지
편집 동작: 결정론적 (Deterministic) — 같은 입력, 같은 출력	확률적 (Probabilistic) — 하지만 생성 내에서 일관
새 시나리오: 코드가 처리하는 것만	훈련 데이터 패턴에서 일반화
실패 모드: 눈에 보이게 충돌하거나 글리치 (Glitch)	미묘하게 퇴화 (불쾌한 골짜기)

게임 엔진 방식은 한계와 강점이 알려져 있다. 물리를 신뢰할 수 있는 이유는 물리를 직접 썼기 때문이다. 학습된 방식은 그 확실성을 일반성과 교환한다 — 아무도 예상 못한 시나리오도 처리 가능한데, 충돌 핸들러를 먼저 짜야 할 필요가 없으니까. 풀 I/O 리뷰에서 내가 쓴 문장이 계속 맴돈다: "Unity처럼, 하지만 규칙이 코딩된 게 아니라 이해된 것이다."

실용적 임팩트: 데모 릴 너머로 누가 신경 쓰는가
비용 구조를 바꾸는 구체적 사용 사례 세 가지.

1. 유튜브 썸네일과 숏폼 영상. 현재 30초 제품 애니메이션에 $200-500을 지불하는 솔로 크리에이터가 프롬프트로 장면을 설명할 수 있다. Omni가 거의 제로 한계비용에 70% 품질만 내줘도, 모든 소규모 크리에이터와 인디 팀의 콘텐츠 제작 경제학이 바뀐다.

2. 제품 워크스루 (Walkthrough) 영상. SaaS 회사가 설명 영상 하나에 $5,000-15,000을 쓴다 (스크립트, 모션 그래픽, 나레이션, 수정). 객체 영속성을 이해하는 세계 모델이면, 워크스루를 생성하고, 다음 버전 UI 스크린샷으로 교체해도, 영상이 일관성을 유지한다. 수정 사이클이 무너진다.

3. 교육 콘텐츠. 클레이메이션 단백질 접힘 데모는 파티 트릭이 아니다. 생물 선생님이 "유사분열을 스톱모션 점토 스타일로, 30초"를 프롬프트하고 교실에 쓸 만큼 정확한 결과를 얻으면, 텍스트 박스 하나가 제작 스튜디오인 셈이다.

공통점: Omni가 시각 스토리텔링 비용을 "팀을 고용하라"에서 "문단 하나를 써라"로 줄인다. 할리우드용이 아니다. AAA 게임용이 아니다. 이전에는 아무도 만들 여유가 없었던 롱테일 (Long-tail) 콘텐츠용이다.

아직 못하는 것
이 섹션이 데모 릴보다 중요하다. 아직 프리뷰 단계다. 구글이 무대에서 큐레이션된 데모를 보여줬다. 실패 사례는 못 봤다 — 이상한 손, 물리 글리치, 87번째 프레임에서 정체성이 흔들리는 순간. 모든 생성 모델이 키노트에서는 대단해 보인다. 문제는 직접 돌린 50번째 생성에서 무슨 일이 일어나느냐다.

장편은 미검증이다. 데모가 10초였다. 1분이면? 2분이면? 5분이면? 세계 모델은 시간이 지나며 퇴화한다 — N번째 프레임의 작은 오류가 N+100 프레임이면 누적된다. Omni가 더 긴 영상에서 일관성을 유지하는지는 열린 질문이다. Omni Flash 클립은 10초 한도; Sora는 최대 60초. 프로덕션 품질은 검증되지 않았다. "인상적인 데모"와 "고객에게 보낼 수 있다"는 다른 기준이다. 색 정확도, 해상도 일관성, 다양한 프롬프트에서의 아티팩트 (Artifact) 발생률 — 외부 사용자가 대규모로 테스트한 적이 없다. 가격이 미정이다.

물리적으로 일관된 영상을 생성하는 세계 모델 (World Model)은 연산 비용이 비싸다. Omni의 가격이 Flash의 궤적을 따른다면 — Flash 세대를 거듭하며 가격이 급격히 올라간 — 비용이 기업 고객의 채택을 제한할 수 있다. 큰 그림에서의 위치를 보자면, Omni는 영상 편집기가 아니다. 모션 그래픽 도구도 아니다. 영상을 출력하는 세계 시뮬레이터 (World Simulator)다. 그 프레이밍이 비교 대상을 바꾼다. Sora와 Runway는 영상 생성기 (Video Generator)다 — 즉, 텍스트를 픽셀로 바꾼다. Omni는 결과물을 영상 프레임으로 렌더링하는 물리 엔진 (Physics Engine)에 더 가깝다. 시스템이 장면을 이해하느냐, 아니면 단순히 그리느냐의 차이다. 그 이해가 큐레이션된 데모 바깥에서도 통한다면 — 이는 진짜 "만약"의 영역이지만 — 그 함의는 콘텐츠 제작을 넘어선다. 로봇 시뮬레이션 (Robot Simulation), 건축 시각화 (Architectural Visualization), 과학 모델링 (Scientific Modeling), 게임 프로토타이핑 (Game Prototyping). "만약...하면 어떻게 되지?"라는 질문이 필요한 모든 분야가 잠재적 사용 사례가 된다. 지금은 프리뷰 (Preview)다. 인상적인 프리뷰다. 하지만 프리뷰일 뿐이다. 앞으로 지켜볼 것: 공개 API 접근, 가격, 그리고 60초 이상의 클립에서 정체성 유지에 대한 첫 독립 벤치마크 (Benchmark). 데모가 기준을 세웠다. 제품은 그 기준을 넘어서야 한다. Gemini Omni를 추적 중이거나 다른 세계 모델 접근법을 테스트해 보았다면, 무엇을 보셨는지 듣고 싶습니다. 댓글이나 GitHub에서 알려주세요.