안녕하세요, Tavus의 공동 창업자인 Hassaan과 Quinn입니다. 저희는 비디오 API를 위한 AI 연구 기업이자 개발자 플랫폼입니다. 저희는 2020년부터 '디지털 트윈 (digital twins)' 또는 '아바타 (avatars)'를 위한 AI 비디오 모델을 구축해 왔습니다.

저희는 인간과 현실적인 대화를 나눌 수 있는 AI 비디오 인터페이스를 구축하면서 직면했던 몇 가지 과제들을 공유하고자 합니다. 여기에는 지연 시간 (latency)을 1초 미만으로 줄이는 작업이 포함됩니다.

Hassaan의 디지털 트윈(https://www.hassaanraza.com) 또는 저희의 '데모 트윈 (demo twin)'인 Carter(https://www.tavus.io)와 대화하며 직접 체험해 보세요.

저희가 이것을 만든 이유는 지금까지 우리가 기술적 한계에 맞춰 의사소통 방식을 조정해야 했기 때문입니다. 하지만 컴퓨터와 자연스럽게 상호작용할 수 있다면 어떨까요? 대화형 비디오 (Conversational video)가 이를 가능하게 하며, 저희는 이것이 결국 핵심적인 인간-컴퓨터 인터페이스 (human-computer interface)가 될 것이라고 생각합니다.

대화형 비디오가 효과적이려면 매우 낮은 지연 시간 (latency)과 대화 인지 능력 (conversational awareness)을 갖추어야 합니다. 친구 사이의 빠른 대화는 발화 사이에 약 250ms의 간격이 있지만, 더 복잡한 주제에 대해 이야기하거나 새로운 사람과 대화할 때는 추가적인 "생각" 시간이 필요합니다. 따라서 1000ms 미만의 지연 시간은 대화를 상당히 현실적으로 느끼게 하며, 이것이 저희의 목표가 되었습니다.

저희의 아키텍처 (architecture) 결정은 지연 시간 (latency), 확장성 (scale), 그리고 비용 (cost)이라는 세 가지 요소의 균형을 맞춰야 했습니다. 이 모든 것을 달성하는 것은 엄청난 도전이었습니다.

첫 번째로 배운 교훈은, 낮은 지연 시간을 구현하기 위해서는 바닥부터 직접 구축해야 한다는 것이었습니다. 저희는 초 단위에 신경 쓰던 팀에서 밀리초 (millisecond) 단위까지 계산하는 팀으로 변모했습니다. 또한 컴퓨팅 비용 (compute costs)으로 인해 무너지지 않으면서, 동시에 수천 개의 대화가 한꺼번에 진행되는 것을 지원해야 했습니다.

예를 들어, 초기 개발 단계에서는 Phoenix-1 모델을 30fps보다 빠르게 실행하기 위해 모든 구성 요소와 모델 가중치 (model weights)를 GPU 메모리에 담으려 했고, 이로 인해 각 대화마다 개별 H100이 필요했습니다. 이는 확장 불가능 (unscalable)하며 비용이 많이 드는 방식이었습니다.

우리는 추론 속도 (inference speed)를 포함한 여러 개선 사항이 적용된 새로운 모델인 Phoenix-2를 개발했습니다. 우리는 여러 가지 이유로 NeRF 기반의 백본 (backbone)에서 Gaussian Splatting으로 전환했는데, 그중 한 가지 이유는 저사양 하드웨어에서도 70+ fps 이상의 속도로 실시간보다 빠르게 프레임을 생성해야 한다는 요구 사항 때문이었습니다.

우리는 이를 넘어 GPU의 메모리 및 코어 사용량을 최적화하는 데 집중하여 저사양 하드웨어에서도 모든 것을 실행할 수 있도록 했습니다. 또한 배치 (batching) 대신 스트리밍 (streaming)을 사용하거나 프로세스를 병렬화 (parallelizing)하는 등 시간과 비용을 절약하기 위한 다른 조치들도 취했습니다. 하지만 이는 다음에 다룰 이야기입니다.

우리는 1초 미만의 지연 시간 (latency)이라는 목표를 달기 위해 발화 간 시간 (utterance-to-utterance time)을 여전히 낮춰야 했습니다. 이는 각 구성 요소 (시각 (vision), ASR, LLM, TTS, 비디오 생성 (video generation))가 초고도로 최적화되어야 함을 의미했습니다.

가장 큰 문제는 LLM이었습니다. 초당 토큰 수 (t/s)가 얼마나 빠른지는 중요하지 않았습니다. 실제로 차이를 만드는 것은 첫 번째 토큰까지의 시간 (time-to-first token, ttft)이었습니다. 이는 Groq와 같은 서비스조차 실제로는 너무 느리다는 것을 의미했습니다. 그들은 높은 t/s를 가졌지만, ttft가 느렸습니다. 대부분의 제공업체가 너무 느렸습니다.

그다음으로 큰 문제는 실제로 누군가가 말을 멈췄을 때를 감지하는 것이었습니다. 이것은 어렵습니다. 기본적인 솔루션들은 침묵 후의 시간을 사용하여 누군가가 말을 멈췄는지 '판단'합니다. 하지만 이는 지연 시간을 추가합니다. 이 시간을 너무 짧게 조정하면 AI 에이전트가 사용자의 말을 끊고 말하게 됩니다. 너무 길게 설정하면 응답하는 데 시간이 걸립니다. 모델은 대화 신호를 기반으로 발화 종료 (end-of-turn)를 정확하게 감지하고, 앞서 나가기 위해 입력을 추측 (speculating)하는 데 전념해야 했습니다.

이러한 아키텍처 최적화를 통해 저사양 하드웨어에서 구동하면서도 3~5초에서 1초 미만(최대 600ms만큼 빠르게)으로 단축했습니다.

이 모든 과정을 통해 우리는 현재 시장에서 가장 빠르다고 믿는 1초 미만의 지연 시간으로 제품을 출시할 수 있었습니다. 우리는 전문 코치이자 전문가 클로닝 플랫폼인 Delphi를 포함하여 많은 고객을 보유하고 있습니다. 그들의 사용자들은 디지털 트윈과 몇 분에서 한 시간, 심지어 4시간(!) 동안 대화를 나누기도 하는데, 이는 우리에게조차 놀라운 일입니다.