Video: 이제 영어, 외국어 공부가 끝납니다... 구글 Gemini 3.5 기반 Translate 본격 출시 | 이제 통역이 화상회의, 앱 모두로 깔립니다
Channel: 안될공학 - IT 테크 신기술
Duration: 20m 2s
Source: subtitle (auto, ko)
Transcript:
이 변화는 번역 앱 하나의 개선이 아니라 통역 기능이 여러 산업에 아주 기본 인프라로 들어가게 될 가능성을 보여줬다고 생각합니다. 여러분 안녕하세요. 패치입니다. 오늘은 제가 재밌는 소식 하나 들고 왔는데요. 구글이 재미나의 3.5 라이브 트랜슬렛을 발표했습니다. 이번 업데이트의 핵심은 AI가 사람이 말하는 내용을 실시간으로 따라가기 시작했다는 점인데요. 자세한 설명보다는 실제로 어떤 점이 달라졌는지 저와 시원으로 먼저 확인해 보시죠. 네. 제미나의 라이브 트랜슬레이은 LT라고 부를게요. 지금 구글 번역 앱을 통해서 글로벌 저녁으로 순차적으로 배포 중이라고 합니다. 그런데 제 앱에서는 아직 적용이 안 되었더라고요. 그래서 저는 구글 AI 스튜디오에서 개발자용 프리뷰 모델을 써서 시안해 보도록 하겠습니다. 여기 들어가셔서 일단 플레이그라운드 가시고 모델스 가셔서 리얼 타임을 보시게 되면 제미나이 3.5 라이브 트랜슬레이 프리뷰가 있습니다. 자, 요거를 하시기 전에 타겟 언어, 그러니까 내가 어떤 언어로 통역을 받을 것인지를 먼저 설정을 해 주셔야 하는데요.

저는 요거를 리시로 하도록 하겠습니다. 여러분, 한국말은 어떻죠? 끝까지 들어봐야 하는 거죠? 영어는 반대로 본론이 제일 앞에 나오는데 이렇게 반대로 되어 있는 한국말 문장 구조를 얼마나 잘 따라오는지 테스트를 한번 해 볼게요. 어제 우리 집 근처 웨이팅 엄청 긴 맛집에서 우연히 개를 만났거든. 오랜만에 갔는데 가고 다시 보니까 >> 지금 이렇게 보시는 대로 제가 앞에서 엄청 부가적인 정보를 많이 줬어요. 중요한 거는 내가 어제 걔를 우연히 만났다라는 거였는데 여기서 앞에 제가 어제 우리 집 근처 웨이팅 엄청 맛집에서 이렇게 뭐라고 설명을 많이 했죠. 그런데도 흐름을 잃지 않고 잘 따라왔네요. 특히나 이렇게 어순이 반대로 된 언어간의 실시간 통역에서는 어디까지 기다리고 또 어디서 말하기 시작하느냐요 지연 시간 제어가 정말 중요한데 스피드와 정확성의 그 미묘한 밸런스를 아주 잘 잡아낸 느낌입니다. 자 그러면 다음 시안을 한번 해 보도록 할게요. 요번에는 다국어 전환 코드 스위칭 테스트인데요. 도착 언어를 요번에는 한국어로 해 보도록 하겠습니다.

이제 다국적 글로벌 회의를 한다고 가정을 하고 한번 해보도록 하겠습니다. Hi everyone. Thank you all for staying up so late tonight. 안녕하세요, 여러분. 늦게까지 깨어 있어 주셔서 감사합니다. 최대한 짧고 결신 와중에 와주셔서 감사합니다. 바쁘신 와중에 시간을 내주셔서 정말 감사합니다. 해곤하실 텐데 죄송합니다. 오늘은 요점만 말씀드리겠습니다. 오케이. 그럼 그럼 오늘은 간단하게 살펴볼게요. 구글 번역기와 3.5를 실시간으로 번역해 볼게요. 스트리밍에 초점을 맞춘 출론 지원 시간과 API 번역에 대해 알아볼게요. >> 오, 여러분 보셨어요? 실제 글로벌 회의에서는 이런 식의 언어 혼합이 매우 흔한데요. 어, 특히 테크 업계에서는 기술 용어나 약어가 계속 섞이기도 하죠. 여기에서 중요한 건 자동으로 출발 언어가 감지가 되는지입니다. 제가 이제 도착 언어는 세팅을 해 놨었죠. 근데 자동으로 제가 말하는 언어가 감지가 되는지 그리고 중간에 영어 했다가 일본했다 이렇게 다른 언어가 들어왔을 때 흐름이 무너지지 않는지도 굉장히 중요한데요.

이거를 기술적으로는 모델이 매 순간의 입력 언어를 고정값으로 보는 것이 아니라 발화 중간에 언어 전환을 감지를 해야 하잖아요. 그래서 이게 특히 저처럼 지금 원어민이 아닌 사람이 입력 언어를 구사했을 때 요것도 감지를 해 낼 수 있다는 것이 저는 지금 상당히 놀랍네요. 거기에 한 가지 더 추가로 들어서 언어의 포멀리티 그니까 격식 수준도 파악할 수 있는지를 제가 한번 확인을 해 봤어요. 이것도 상당히 괜찮게 구사를 한 거 같습니다. 제 성에 차지는 않지만 그래도이 정도면 상당히 양호한 거 같네요. 그래서 요번에는 현실적인 글로벌 업무 환경에서 통역 AI가 얼마나 자기 역할을 해낼 수 있는지를 한번 시험해 보았습니다. 요거 좀 재밌네요. 그다음에는 관용어구를 얼마나 잘 이해하는지 볼 건데요. 번어를 다시 영어로 설정을 하고요. 어 그 발표 기술적으로는 나쁘지 않은데 약간 기 셌어. 기대를 너무 >> 걔는 발이 넓고 정도 많아서 손도 크고 주변에 사람도 많이. >> 네. 여기에서 반용어를 상당히 많이 썼어요.

뭐 김이 샜다 아니면은 발이 넓다. 손이 크다 정이 많다. 입이 가볍다. 요런 거를 이제 문자 그대로 번역을 하면 의미가 좀 이상해지죠. 그래서 요게 실제로 문자 그대로 받아들이면 발과 손과 입에 대한 묘사가 되는데 사실은 성격에 관한 묘사잖아요. 통역한 거를 보시면 well connected 그다음에 gener 그리고 mth 이런 식으로 굉장히 찰떡같이 번역을 해 뒀어요. 단어 하나하나를 대응시키는 것이 아니라 전체 상황 속에서 제 표현의 감정이랑 의도까지도 해석을 하는지를 봤는데 이것도 지금 상당히 잘하네요. 꽤 자연스러웠죠. 어. 자, 그러면 마지막으로 하나 더 어트나 음성, 피치의 속도, 억양 이런 음성 정보도 얼마나 얘가 잘 살릴 수 있는지 한번 보도록 하겠습니다. 아니요. 그건 좀 어렵겠는데요. No, that's a bit difficult. >> 아니요. 그건 좀 어렵겠는데요. >> No, that's a bit difficult. >> 네. 여러분, 여기 지금 보시면은 좀이 다른 거 보실 수 있죠?

얘가 제 목소리를 그대로 복사하는 거는 아니지만 포인트를 꽤 잘 잡아서 반영을 했네요. 방금까지 본 시안을 바탕으로 기술적으로 무엇이 달라졌는지를 한번 보도록 하겠습니다. 기존 방식은 기술적으로 본다면 ASR과신 트랜슬lation 그리고 TTS가 이렇게 쭉 직렬로 연결된 카스케이 파이프라인에 가까운데요. ASR이 먼저 음성을 텍스트로 바꾸고 그다음에 번역 모델이 그 텍스트를 타겟 언어로 옮긴 다음에 TTS가 다시 그걸 음성으로 합성을 하는 건데요. 이렇게 되면 각 기능이 따로따로 작동하고 앞단계의 결과가 곧 그다음 단계의 입력값이 됩니다. 그렇게 된다면이 문제가 뭐냐면요.이 이 구조에서는 각 단계가 독립적으로 최적화가 되기 때문에 앞단에서 발생한 오류라든지 정보 손실이 뒷단에 그대로 이렇게 전달이 된다는 점인데요. 그럼 어떻게 될까요? 음성 인식이 잘못되면 번역도 잘못되고 번역이 어색하면 음성 합성도 어색한 문장을 읽게 되겠죠. 그리고 이게 또 문제가 뭐냐면 음성을 텍스트로 바꾸는 순간에 말투라든가 억양, 목소리, 감정 이런 정보가 많이 사라지게 됩니다.

어, 이건 마치 영화를 보는데 소리 없이 자막만 보는 것과 비슷한 경우죠. 그래서 이번 재미나 3.5 LT는 방향이 다르다고 볼 수 있는데요. 핵심은 음성을 문장 단위로 끊어서 처리하는 것이 아니라 음성 스트리밍을 계속 따라간다는 점입니다. 이게 실시간 통역에서 중요한게 전체 문장을 다들은 다음에 번역을 하는 것이 아니라 아직 완성되지 않은 부분적인 문맥 정보 파셜 컨텍스트를 바탕으로 다음에 올를 예측을 하는 건데요. 일반 텍스트 번역 모델은 문장이 어느 정도 완성된 다음에 전체 문맥을 보고 나서 이렇게 판단을 할 수가 있지만 스트리밍 음성 통역은 그게 불가능하잖아요. 그래서 모델이 들어오는 오디오 토큰을 순차적으로 처리를 하면서 동시에 지금 출력해도 되는 의미 단위랑 좀 더 기다려야 하는 의미 단위를 계속 구분하는 작업을 해야 되거든요. 그래서 이거를 트랜스포머 관점에서 본다면 전체 입력을 한 번에 보는 번역 문제가 아니라 시간축을 따라서 컨텍스트가 점점 점점 늘어나는 스트리밍 인퍼런스 문제에 가깝다고 보셔야 됩니다.

이게 바로 스트리밍 음성 통역의 핵심 기술 난재인데 이거를 이번 업데이트가 상당 부분 해결했다는 것에 의미가 있습니다. 그럼 여기서 음성 스트리밍을 처리한다라는 말을 조금 더 풀어 볼 건데요. 핵심은 레이시 퀄리티 트레이드오프입니다. 더 오래 기다리면 문맥은 당연히 정확해지겠죠. 그렇지만 지연이 커지고 반대로 너무 빨리 출력해 버리면 대화는 자연스럽게 이어지지만 문장 뒤쪽에서 이제 중요한 정보가 나오기도 전에 의미를 잘못 확정해 버릴 수가 있으니까요.요 실시간 음성 번역 모델은이 균형을 계속 조절하는 것이 상당히 중요합니다. 단순히 번역 모델의 성능 문제가 아니라 출력 타이밍을 제어하는 시퀀스 생상 문제라고도 볼 수 있습니다. 그리고 음성에는 단어의 의미뿐만이 아니라 프디 즉 억양이라던가 피치, 리듬, 강색, 그리고 말의 빠르기 요런 음절, 운율 이런 굉장히 중요한 정보도 같이 들어가 있잖아요. 그래서이 기존 텍스트 중심의 번역에서는이 음성 정보들이 사라지게 되는데요. 그지만 요렇게 음성에서 음성으로 통역하는 모델들은 원문의 의미뿐만이 아니라 요런 음성 정보까지도 보존을 해 가지고 다시 타겟 언어 음성으로 생성을 하려는 걸 볼 수가 있어요.

그래서 요번 변화는 단순한 번역이 아니라 스맨틱 트랜슬레이션이랑 프로젝트가 같이 결합되는 방향이라고 보실 수 있습니다. 그럼 여기에서 제미너의 3.5가 들어갔다라는 말이 정확히 어떤 건지 좀 이해를 해 볼 필요가 있는데요. 멀티모델 모델 관점에서 보면 음성이 파형 그대로 처리되는 것이 아니라 모델이 다룰 수 있는 오디오 토큰이라든지 아니면 압축된 음성 표현으로 이제 변환이 되는데요. 모델은이 오디오 표현을 텍스트 토큰처럼 시퀀스로 다루면서 의미랑 시간 정보를 출론하게 됩니다. 그러면 재미나의 3.5가 가 들어갔다는 건 그냥 번역기에 lm을 붙였다는 뜻이 아니라 소리로 된 언어와 글로 된 언어를 같은 생성 모델의 컨텍스트 안에서 함께 다루기 시작했다는 의미 가까워집니다. 그럼 여기에서 좀 헷갈리실 텐데요. 이걸 과연 음성 모델이 하는 건지 아니면 재미나의 3.5가 하는 건지 좀 궁금하시죠? 정확히 말하면 둘 중 하나로 나누기보다는 제미나의 3.5 계열 안에 있는 그 오디오 처리 능력에 하는 것으로 보는 편이 좀 더 자연스럽습니다.

중요한 건 음성 모델인지 제미나이인지가 중요한게 아니라 번역의 중심이 텍스트 파이프 라인에서 오디오 기반 멀티모델 모델로 이동을 하고 있다는 점이라고 보셔야 될 거 같아요. 여기에서 이제 이어폰 이야기가 좀 중요해지는데요. 예전에 실시간 번역 기능에서 이어폰이 강조됐던 이유는 AI가 이어폰 안에서 돌아가기 때문이 아니에요. 이어폰의 핵심 역할은 뭐였냐면 입력되는 음성이랑 출력되는 음성을 분리를 해 주는 것이었는데 이게 만약 휴대폰 스피커로 번역 음성이 나와 버리게 되면 그 소리가 다시 휴대폰 마이크로 들어갈 수가 있겠죠. 그러면 이게 앱 입장에서는 원래의 그 외국어 음성이랑 자기가 번역하는 음성이 섞여서 다시 들어오게 됩니다. 그러면 이게 실시간 통역에서는 모델이 계속 음성을 듣고 있기 때문에 출력했던 번역 음성이 다시 입력으로 들어오는 순간 루프가 생성될 수밖에 없겠죠. 이런 거는 상당히 치명적인 5인식이라고 볼 수 있습니다. 그래서 이어폰이 일종의 개인용 통역 수신기 역할을 했었는데 사용자는 번역 음성을 이어폰으로만 듣고 휴대폰 마이크는 이제 원래 음성에 집중을 할 수 있었던 겁니다.

이번 3.5 LT 모델에서는 안드로이드 기준으로 리스닝 모드가 추가됐다는 점을 좀 중요하게 봐야 할 것 같아요.이 이 기능은 이어폰 없이도 휴대폰을 이렇게 귀에다 대고 전화처럼 번역 음성을 듣는 방식인데요. 완전히 이어폰이 필요 없어졌다는 뜻은 아니지만 이어폰이 없이도 충분히 실생활해서 쓰는 장벽을 낮췄다라고 보실 수 있습니다. 이렇게 휴대폰을 귀에다 대면 일반 스피커보다 소리가 훨씬 덜 세어 나가게 되죠. 통화하는 거랑 똑같다고 보시면 돼요. 그러면 이게 번역 음성이 다시 마이크로 들어가는 문제도 화우니 줄어들게 되겠죠. 그럼 기술적으로 본다면 이걸 입력과 출력을 완전히 분리한 건 아니지만 UX 차원에서 재유 가능성을 줄이는 방식이라고 볼 수 있겠죠. 사용자 입장에서는 꼭 이어폰을 들고 다니지 않아도 핸드폰만 있어도 이거를 개인 통역기처럼 쓸 수 있다는게 상당히 일상적인 사용성을 높이는 방향이라고 보실 수 있을 것 같습니다. 어, 좀 더 자연스러운 통역기 형태로 가고 있는 거죠. 그럼 이제이 기술의 의미를 앱 밖으로 한번 확장을 해 볼 건데요.

개인 입장에서는 간단하게는 그냥 구글 트랜슬레이트 앱이 좀 더 좋아졌나 보다 이렇게 보실 수도 있는데 확실히 여행 중에 외국어를 듣거나 아니면은 외국인과 대화를 하거나 그럴 때 훨씬 더 도움이 되겠죠. 그렇지만 산업적으로 더 크게 보자면 중요한 포인트는 API입니다. 이게 개발자들이 실시간 통역 기능을 자기 앱 안에 붙일 수 있게 된 건데요. 이렇게 되면 개별적인 앱마다 직접 음성 인식, 번역, 음성 합성, 지연 시간, 제어 시스템 이런 거를 일일이 만들 필요가 없게 되겠죠. 구글의 통역 API를 그냥 갖다 붙이는 것만으로도 앱 안에 자연스럽게 실시간 통역 기능이 장착이 되는 거니까요. 그래서 요거를 기술적으로 어려운 요런 기능들을 구글이 클라우드 API로 제공하는 구조가 될 수 있고요. 그렇게 되면이 변화는 번역 앱 하나의 개선이 아니라 통역 기능이 여러 산업의 아주 기본 인프라로 들어가게 될 가능성을 보여줬다고 생각합니다. 자, 그러면 요거를 뭐랑 비교를 해 볼 수 있냐면 구글 맵 아시죠? 구글 맵 API랑 비교를 하면 좀 이해가 쉬울 거 같은데요.

처음에는 사람들이 지도를 볼 때 구글 맵 앱을 직접 열어서 봤잖아요. 하지만 어느 순간 지도가 수많은 앱 안으로 들어가 버렸습니다. 맛집 앱, 배달 앱, 뭐 택시 앱도 그렇고 숙박이라든가 여행, 부동산 앱까지 모두지도 기능을 사용을 하고 있는데요. 이게 개발자들이 직접 지도를 만들지 않고 구글 맵 API를 갖다 붙였기 때문에 구글 맵이 단순한지도 앱을 넘어서 위치 정보를 제공하는 인프라가 된 겁니다. 그렇게 보면 제미나이 라이브 트랜슬레이트도 비슷한 그림을 만들 수 있다고 보여져요. 지금은 사용자가 구글 번역 앱을 직접 열어서 통역을 하지만 앞으로는 온라인 회의, 여행, 콜센터, 모빌리티, 뭐 교육 플랫폼, 그다음에 온라인 커머스 등 이런 다양한 앱들 안에 통역 기능이 들어갈 수가 있게 되는 겁니다. 여기에서 중요한 건 구글이 단순히 번역 결과를 제공하는게 아니라 실시간으로 음성 입출력 전체를 처리하는 그 레이어가 될 수 있다는 점인데요. 그러면 이제 구글은 번역 앱을 넘어서는 실시간 언어 인프라가 되겠죠.

특히 이게 기업 시장에서는 구글 미트가 매우 중요한 확산 채널이 될 수 있습니다. 기업 회의에서 통역은 원래 비용이 진짜 크거든요. 전문 통역사를 섭외를 해야 되고 언어별로 인력을 맞춰야 되고 그리고 또 회의 일정도 조율를 해야 되죠. 그래서 갑작스러운 회의라든가 좀 작은 규모, 중소 규모의 회의에는 통역을 붙이기가 좀 어려운데요. 근데 구글 밑트 안에 이런 실시간 통역 기능이 기본 기능으로 장착이 되면 상황이 많이 달라지겠죠. 해외지사 회의라든가 글로벌 고객 미팅 그리고 뭐 세일즈 콜, 기술 지원, 교육 세션 같은 곳에서도 바로바로 사용할 수 있게 됩니다. 기술적으로도 구글 밑트는 통역 기능이 들어가기 좋은 위치에 있는데요. 이미 음성 입력이라던가 화자 관리, 뭐 회의 세션, 클라우드 연결, 기업 개정 관리가 모두 함께 있는 플랫폼이기 때문입니다. 여기에 이제 실시간 통역 모델이 결합이 되면 별도의 통역 앱을 켜지 않고도 그냥 회의 흐름 안에서 자연스럽게 바로 통역이 가능해지겠죠. 특히나 구글 워크스페이스를 이미 쓰고 있는 기업이라면 별도의 솔루션을 도입하지 않아도 돼서 정말 편리하게 사용을 할 수 있을 것 같습니다.

이게 개인이 번역 앱을 사용하는 것보다 기업 회의 도구 안에 들어가면 훨씬 빠르게 확산이 될 수 있을 것 같네요. 그리고 이제 구글 입장에서 보면 중요한게이 수익 모델을 관가할 수가 없는데요. 개인용 번역 앱은 사실 과금이 그렇게 쉽지는 않습니다. 사용자가 필요할 때만 직접 애 열어서 쓰고 그리고 이제 사용 상황도 상당히 이제 한정이 되어 있죠. 여행이라든가 특정 대화 요런 상황만 쓰기 때문에 하루 종일 사용하게 되는 건 아니잖아요. 그리고 단가를 좀 높게 책정하기도 사실상은 좀 부담스럽죠. 하지만 이게 API로 들어가게 되면 비용을내는 주체가 개인이 아니라 기업이나 개발자 아니면 플랫폼 단위로 이렇게 바뀌게 되겠죠. 통역 기능이 회의 앱, 콜센터, 여행 플랫폼, 교육 서비스 안에 들어가게 되면 개인이 사용하는 거보다 사용량이 훨씬 커질 수 있게 됩니다. 그러면 과금 기준도 다양하게 변화할 수 있을 것 같은데요. 사용 시간이라던가 오디오의 길이, 입력 토큰, 출력 토큰, 뭐 통역 세션수라든가 아니면 동시 접속자수 같은 이런 다양한 기준이 가능해질 것 같습니다.

기술적으로는 이제 음성을 모델이 처리하기 위해서 오디오 토큰이라든가 내부 표현으로 변환을 하고 그 처리량에 따라서 또 비용 구조가 만들어질 수도 있겠죠. 결국 실시간 통역은 무료 앱 기능이 아니라 아마 오디오 토큰 단위로 과금이 되는 글로벌 AI 인프라가 될 거 같은데요.이 지점에서 구글은 산업 전반에 통역 트래픽을 가져갈 수 있는 그런 유리한 위치에 서게 됩니다. 자, 그러면이 변화를 단순하게 어떡하지? 통역사가 이제 모두 사라지는 건가? 이렇게 생각을 하시면 안 되겠습니다. 외교나 법률, 의료, 그리고 사법 통영, 뭐 계약 협상 이런 것처럼 책임이랑 맥락이 가장 중요한 영역에서는 여전히 사람의 역할이 중요할 거 같은데요. 문화적인 뉘앙스가 중요하거나 발언 하나가 큰 리스크가 되는 상황에서 전문 통역의 역할은 남아 있게 되겠죠. 어, 그리고 이제 통역 결과에 대한 책임 소재가 상당히 중요한 문제기 때문에 전문 통역사의 역할이 사라진다고 볼 수는 없을 것 같습니다. 그렇지만 반복적이고 단순한 통역 수요에 대해서는 이게 빠르게 AI 기능으로 내려올 수 있을 것 같은데요.

일상 회의라든가 고객센터, 여행에서의 대화, 그리고 뭐 호텔 안내, 온라인 교육, 내부 세미나 같은 그런 영역이 대표적으로 바뀌게 될 것 같습니다. 핵심은 우리가 통역 서비스가 매번 전문 인력을 섭외해야 하는 값비싼 서비스에서 어느 앱나 기본적으로 탑재가 된 기능으로 보편화가 된다는 점이라고 볼 수 있는데요.이 변화는 이제 전문가에게도 어떤 역량이 요구되는지 그 질문 자체를 바꾸고 있다고 봅니다. 그래서 결론적으로 지금까지 흐름을 정리하면 세 가지로 볼 수 있는데요. 첫째는 기술적으로 구글 트랜슬레이트는 텍스트 번역기에서 실시간 음성 통역 시스템으로 이동을 하고 있습니다.이 변화의 핵심은 음성 스트리밍 처리 그리고 문맥 추적 또 지연 시간 제어와 음성 정보 생성입니다. 둘째는 제품으로 이어폰 기반의 개인 통역에서 더 자연스러운 리스닝 모드라든가 구글 미트 같은 회의 환경으로도 확장이 되고 있다는 점이고요. 이거는 단순한 UI의 변화가 아니라 입력과 출력의 분리 문제를 더 자연스럽게 해결하려는 UX 변화라고 보실 수 있습니다.

그리고 셋째는 산업적으로는 구글 트랜슬레 앱보다는 API가 더 중요해질 수 있다는 점인데요. 구글 맵스가 위치 레이어가 되었던 것처럼 제미나이 라이브 트랜스레이트도 언어 레이어가 충분히 될 수 있다고 보여집니다. 그래서 재미나이 3.5 기반 구글 트랜슬레이트는 단순히 외국어를 더 잘 번역하는 기능이 아닙니다. 이번 업데이트는 구글이 전 세계 서비스에 통역 트래픽을 가져가는 플랫폼이 될 가능성을 보여준과 동시에 언어가 더 이상 장벽이 아니라 배경이 되는 미래로 나아가고 있음을 보여주었습니다. 그럼 오늘은 여기까지 안델공학의 패치였습니다. 입니다.