구글이 또 큰 거 하나 꺼내네요... AI가 만든 세계, 이제 소리와 행동까지? Genie 4의 가능성과 빈틈

Video: 구글이 또 큰 거 하나 꺼내네요... AI가 만든 세계, 이제 소리와 행동까지? Genie 4의 가능성과 빈틈
Channel: 안될공학 - IT 테크 신기술
Duration: 10m 27s
Source: subtitle (auto, ko)
Transcript:
네, 여러분 안녕하세요. 패치입니다. 어, 커피를 만들다가 실수로 떨어뜨리는데요. 그리고 사과를 하자 앞에 있는 인물 거기에 반응을 해요. 구글 연구진이 공개한 지니 시안입니다. 일단 먼저 한번 보시죠. 네, 흐르는 커피가 좀 어색하긴 하죠. 근데 지금 보시는 장면은 그래픽으로 이미 다 정해져 있는 걸 조작을 하는게 아니라 한 장면 한 장면을 이렇게 실시간으로 만들고 있는 건데요. 그래서 일단이 장면에서 보셔야 될 건 내가 어떤 행동을 해서 상황이 벌어지고 그 상황에 맞춰서 세계가 어떻게 이어지느냐 이거입니다. 사용자가 개입을 해서 장면 속에 인물이 거기에 반응을 하고요. 대화가 계속된다면 우리는 또 그 반응을 보고 장면이 진행되는 도중에 다른 선택들을 해 볼 수 있겠죠. 그냥 준비된 영상을 보는 거랑 좀 비교를 해 보면 이건 사용자가 끼어들 여지가 생기는 겁니다. 이게 바로 구글이 10월 27일 발표한 월드 모델 지니 4가 보여주려는 변화인데요. 월드 모델은 사용자의 입력이랑 앞선 상황을 바탕으로 다음 장면을 만들어 가면서 그 안을 탐색할 수 있게 만든 AI라고 생각을 하시면 돼요.

이미 진니 3에서도 세계를 돌아다니거나 날씨를 바꾸는 그런 연구 시현은 있었는데요. 근데 진니 4에서는 그 안에서 일어나는 행동에 소리랑 대화가 붙고 여러 단계의 사건을 이어가기 위해서 재미나이의 출론을 활용을 합니다. 자, 먼저 소리부터 한번 들어 볼게요. 연구지는 지니 4가 영상이랑 오디오를 예측을 해서 함께 생성한다고 설명을 하는데요. 화면을 만든 다음에 거기에 어울릴 법한 음악을 그냥 얻는 그런 작업이랑 비교를 해 보면이 모델은 사건이 일어나는 시간이랑 소리가 나는 시간을 함께 다룰 수 있는 구조라는 점이 중요해요. 자, 여러분 보세요. 사람이 말을 멈췄는데 입이랑 목소리가 따로 놀거나 아니면 물건이 떨어지는데 바닥에 닿기도 전에 쿵하고 소리가 나 버리면 바로 어색해지죠. 사용자가 장면을 바꾸는 동안에도 이런 관계를 맞춰야 되는데요. 가까운 소리랑 먼 소리까지 실제 공간처럼 제연을 하는지 그건 좀 또 따로 따져 봐야겠지만 우선 시원에서들을 것은 동작이랑 소리의 타이밍입니다. 이렇게 소리까지 있는 장면을 진행 중에 바꿔 볼 수 있다면 우리가 이걸 가지고 뭘 해 볼 수 있을까요?

촬영 전에 같은 장면을 여러 방식으로 연습을 해 볼 수가 있겠죠. 구도랑 대사 타이밍을 시험을 해 보는 거예요. 예를 들어서 사람이 말하는 중에 카메라를 빼는 것이랑 말이 끝난 다음에 빼는 거는 느낌이 좀 달라지겠죠. 화면만 보고 구도를 고르는 데서 나아가서 대사랑 주변 소리까지 들어보면서 장면의 호흡을 판단을 하는 겁니다. 이렇게 장면을 시험을 하다 보면 카메라나 대사뿐만이 아니라 사건 자체도 한번 바꿔 보고 싶겠죠. 같은 장면에 전혀 다른 사건을 넣으면 어떻게 될까요? 그럼 이번에는 분위기를 한번 바꿔 볼게요. AI 영상을 다루는 채널인미디어가 공개한 테스트인데요. >> 제작자는 연인이 나오는 장면의 배경에다가 거대한 괴수를 추가로 했다고 설명을 했습니다. 로맨틱한 장면이 갑자기 재난 영화의 한 장면으로 바뀐 거예요. 근데 여기서 재밌는 건 제작자가 지적을 한 점인데요. 괴수가 나타난 다음에도 카메라는 계속 임무를 비추고 있다는 거예요. 배경에다가 궤수를 넣으라는 요청이랑 그 궤수가 잘 보이도록 촬영을 하는 요청은 다른 문제라는 거죠.

촬영 현장을 생각해 보면 이해하기가 좀 쉬운데요. 배우 뒤에서 큰 사건이 벌어졌을 때 카메라를 이렇게 돌려 가지고 사건을 보여 줄 수도 있고요. 아니면 배우의 표정을 계속 잡고 있을 수도 있겠죠. 어떤 쪽을 원하느냐에 따라서 카메라에 대한 지시도 달라줘야 되는데요. 이렇게 인물이랑 장소를 유지하면서 사건이나 구도를 바꿀 수 있다면 연출자가 같은 장면에서도 시험을 해 볼 수 있는 선택지가 늘어나겠죠. 처음부터 괴수가 등장하는 새로운 장면을 만드는 것이랑도 좀 차이가 있을 텐데요. 이미 진행 중이던 그 로맨틱한 장면에 궤수를 추가를 하려면 앞에 있던 인물이랑 주변 공간을 계속 유지를 하면서 거기에다가 새로운 사건을 받아들여야 하니까요. 뭘 바꾸고 뭘 남길지를 구분을 해야 하는 겁니다. 그리고 장면이 계속 진행이 되려면 그렇게 바뀐 상황에 맞춰서 다음 행동도 잘 이어져야겠죠. 이런 연결은 커피 한 잔을 다루는 장면에서도 중요한데요. 우리는 컵을 잡고 옮기는 모습을 매일 보잖아요. 그러니까 손이랑 물체의 움직임이 조금만 어긋나도 아주 쉽게 알아차리죠.

방금 손에 들고 있던 컵이 다음 순간에도 같은 사람의 손에 있는지 아니면 이거 컵을 이제 내려 놓았다면 어디에 놓여 있는지가 쭉 이어져야 됩니다. 그리고 사용자가 중간에 다른 요구를 하면 더 복잡해지는데요. 앞으로 어떤 입력이 새롭게 들어올지 모르는 상태에서 방금 만든 장면을 바탕으로 다음 장면을 계속 만들어야 하거든요. 앞에서 조금 틀어진 모습이 그다음 장면의 조건이 돼 버리면 오류도 계속해서 이어져 버리겠죠. 구글은 이런 진행을 돕기 위해서 장면을 확인하는 제미나이를 결합을 했습니다. 공식 설명에 따르면 지니 4는 외형이랑 행동을 구현하는데 제미나이 옴니의 능력을 활용을 하고요. 여기다 재미나의 3.8 플래시가 생성되는 화면을 잘 관찰을 하면서 목표를 여러 단계로 나누고 각 단계가 제대로 진행이 됐는지 이걸 확인하는 역할을 맞습니다. 각 단계가 진행이 됐는지 잘 살피고요. 사용자가 개입하거나 상황이 달라지면 그다음 계획을 또 조정하는 그런 식인 거예요. 자, 설명을 위해서 한번 가상의 지시를 만들어 볼게요.

커피를 만들어서 가져다 줘. 이런 지시가 있는데 그러면 컵에 커피를 담고 컵을 들어서 상대한테 가져가는 그런 순서가 필요하겠죠. 그런데 중간에 컵이 떨어져 버렸다면 컵을 그대로 건내는 그다음 단계로 넘어가서는 이게 앞뒤가 맞지 않잖아요. 달라진 상황을 확인을 하고 그에 맞게 다음 행동을 또 조정을 해야 하는 겁니다. 처음에 긴 지시를 한 번 넣는 방식랑 비교를 해 보면 중간 결과를 확인하면서 진행 방향을 수정할 수 있다는 점이 되게 중요하겠죠. 목표를 잘게 나누고 결과를 확인하는 이런 과정들이 진행을 돕는 거예요. 기술적으로는 생성이랑 점검의 역할을 이렇게 나누는 건데요. 진니가 눈앞에 장면이랑 소리를 만들어 가는 동안에 재미나 있는 목표가 어디까지 진행이 됐고 그다음에 뭘 해야 하는지 이걸 살피는 겁니다. 이런 방식이 특히 도움이 될 부분은 순서랑 의도일 거 같은데요. 누가 먼저 행동을 해야 하는지 그리고 사용자가 방금 뭘 바꾸라고 했는지 이런 것들이요.데 네. 다만 이렇게 행동의 순서를 점검한다고 해서 생성된 세계의 물리적 정확성까지 막 보장이 되거나 그런 건 또 아니에요.

재미나이도 결국은 생성된 화면을 보고 판단을 하기 때문인데요. 화면에서 컵을 들어서 옮기는 모습이 그럴 듯하게 이어져도 실제 컵의 무게나 컵을 잡는데 필요한 힘까지 정확히 제연됐는지는 또 별도로 검증을 해 봐야겠죠. 그래서 같은 장면이라도 어디에 쓰느냐에 따라서 요구되는 정확도가 달라집니다. 촬영 전 리어설에서는 구도랑 동작의 흐름을 판단하는데에 도움이 될 수가 있겠지만 뭐 로봇의 동작을 훈련을 한다든지 그러기 위해서는 그런 움직임이 현실의 물리랑 얼마나 맞는지까지도 확인을 해 봐야 될 것 같아요. 자, 그렇다면 지금 단계에서는 어떤 작업에 먼저 활용을 해 볼 수가 있을까요? 실제 테스트에서 드러난 한계를 보면 용도에 따라서 뭘 확인을 해야 할지 좀 더 분명해지는데요. 같은 테스트에서 제작자는 타임스퀘어를 돌아봤을 때 뒤쪽 공간이 바뀌었다고 설명을 합니다. 정면은 그럴 듯한데 돌아왔을 때 장소가 달라지면 그 안에서 길을 찾거나 같은 지점으로 돌아오는 그런 경험들은 흔들리겠죠. 게임 엔진에서는 건물이라던가 물체 위치를 데이터로 저장을 하고 카메라 방향이 바뀌게 되면 그 정보를 바탕으로 화면을 다시 그리게 되는데요.

진니처럼 다음 화면을 생성하는 방식에서도 이렇게 돌아봤을 때 앞서 지나온 공간들이 쭉 이어져야겠죠. 화면 하나하나가 그럴 듯해도 장소가 계속 달라진다면 그 공간을 기억을 하면서 탐색하기는 어려워질 테니까요. 여기에다가 게임의 규칙까지 더하면 유지해야 될 정보가 더 늘어납니다. 둠 스타일의 테스트에서는 제작자가 괴물이 죽지 않고 자신도 피해를 받지 않는다고 말을 해요. 게임이 작동을 하려면 총이 괴물을 보여 주는 것에 더해서 공격을 맞았을 때는 체력의 줄고 그런 결과가 다음 행동이랑 승패에 반영이 돼야 되는데요. 체력이 얼마나 남았는지 이런 상태를 유지하면서 정해진 규칙에 따라서 바꿔야 되는 거죠. 타임스퀘어 사례는 공간의 지속성을 그리고 두무 사례는 행동의 결과랑 규칙이 이어지는지 요거를 확인하게 합니다. 길찾기라던가 전투 난이도를 검증을 하려면 이런 조건들부터 안정적으로 충족이 돼야겠죠. 방금까지 본 기능들을 제작 과정에 가져오게 되면 저는 장면에 초환을 시험하는 작업이 좀 먼저 떠오르는데요. 같은 상황에서 인물의 행동을 바꾸고 카메라 위치를 바꾸고 대사의 타이밍도 다르게 해 보는 거죠.

보통 클립을 만드는 흐름에서는 결과를 확인한 뒤에 수정 요청을 하게 되는데요. 진행 중인 장면에 개입을 할 수 있다면 상황을 계속 이어가면서도 다른 선택을 시도해 볼 수 있는 거예요.이 구도에서 말을 멈추면 어떨까? 이런 거를 글로 설명을 하는 대신에 그냥 그 장면을 놓고 얘기를 할 수 있는 겁니다. 여기에서 그다음으로 확인할 거는 수정한 결과끼리 제대로 비교할 수 있느냐 이거일 텐데요. 인물의 행동만 바꾸고 싶었는데 장소나 조명 같은 그런 나머지 조건까지 달라져 버리면 그 행동을 바꾼 효과를 제대로 판단하기 어렵겠죠. 원하는 부분만 바꿔서 여러 가지 안을 시험해 볼 수 있게 될수록 실제 제작 전에 회의에서 활용해 볼 이유도 아주 분명해지겠죠. 초현실적인 장면을 구상할 때도 이런 기준은 같을 텐데요. 제작자는 초현실적인 공포 분위기를 주문을 하고 TV 안으로 들어가서 또 다른 TV로 이어지는 그런 장면을 소개를 합니다. 이런 연출에서는 공간이 낯설게 바뀌는 거 자체가 원하는 효과일 수도 있어요. 근데 그렇다고 해서 또 모든 변화가 좋은 결과가 되는 건 또 아니겠죠.

같은 인무를 계속 등장을 해야 하거나 특정 소품을 다음 장면까지 가져가야 한다면 그런 설정들은 공간이 바뀌어도 유지돼야 합니다. 연출자가 요청을 한 변화랑 원하지 않았는데 생긴 변화를 구분을 할 수 있어야 되는 거예요. 이거는 관람자의 선택에 따라서 이야기가 달라지는 그런 체험 같은 걸 구상을 할 때도 마찬가지인데요. 예상하지 못한 행동을 받아서 이야기를 이어가면서도 앞에서 벌어진 일이라던가 등장 인물 사이에 그런 관계들을 유지할 수 있는지 봐야 돼요. 새로운 장면을 만들어내는 능력이 실제 제작독으로 이어지려면 이렇게 앞단의 맥락을 유지를 하면서도 요청한 변화를 반영할 수 있어야겠죠. 현재 진니 4는 신뢰된 테스터를 대상으로 한 연구 프리뷰인데요. 구글은 구글 AI 울트라 제미나이 API 등의 그런 초기 파트너들을 대상으로 확대할 예정이라고 밝혔고요. 물체랑 공간의 일간성이라든가 긴 상호 작용은 아직 개선 과제로 남겨 두고 있습니다. 앞으로 시연이 좀 더 나오게 되면 저는 멋진 장면을 본 다음에 한 번 더 요구를 해 보고 싶은데요.

자, 요건 그대로 두고 이것만 좀 바꿔 줘. 이런 요청을 얼마나 안정적으로 받아내느냐가 그냥 구경하기 좋은 세계를 반복해서 쓸 수 있는 도구로까지 만드는 기준이 될 것 같습니다. 그럼 오늘은 여기까지 패치였습니다.