안녕하세요, HN 커뮤니티 여러분. 저희는 Lemon Slice의 Lina, Andrew, Sidney입니다. 저희는 맞춤형 확산 트랜스포머(Diffusion Transformer, DiT) 모델을 훈련시켰으며, 이 모델은 25fps로 비디오 스트리밍이 가능합니다. 이를 활용하여 누구나 사진을 실시간으로 말하는 아바타로 변환할 수 있는 데모를 만들었습니다. 공동 창업자인 Andrew가 진행한 예시 대화는 다음 링크에서 확인하실 수 있습니다:

.

직접 사용해 보시려면 여기를 방문해주세요:
https://lemonslice.com/live.

(참고로, 저희는 이전에는 Infinity AI라는 이름이었으며, 작년에 이 이름으로 Show HN을 진행한 적이 있습니다: https://news.ycombinator.com/item?id=41467704.)

HeyGen, Tolan 또는 Apple Memoji 필터와 같은 기존의 아바타 화상 채팅 플랫폼과 달리, 저희는 맞춤형 모델 훈련이나 캐릭터를 미리 리깅(rigging)할 필요가 없으며, 사람이 직접 아바타를 조종할 필요도 없습니다. 저희 기술을 사용하면 단 하나의 이미지를 업로드하는 것만으로 사용자들은 자신만의 커스텀 캐릭터를 만들고 즉시 화상 통화를 할 수 있습니다. 이 캐릭터 이미지는 포토리얼리스틱(photorealistic)부터 만화, 그림 등 어떤 스타일이든 가능합니다.

이 데모를 구현하기 위해 저희는 다음을 포함하여 여러 작업을 수행해야 했습니다 (하지만 이것들이 가장 어려웠습니다):

1. 빠른 DiT 모델 훈련. 비디오 생성을 빠르게 만들기 위해, 속도와 품질 사이의 적절한 균형을 맞춘 모델을 설계하고 표준 증류(distillation) 접근 방식을 모두 사용해야 했습니다. 저희는 먼저 오디오에 대한 뛰어난 입술 및 얼굴 표정 동기화(sync)를 달성하는 커스텀 비디오 확산 트랜스포머(DiT)를 처음부터 훈련시켰습니다. 모델의 속도를 더욱 최적화하기 위해, 교사-학생 증류(teacher-student distillation)를 적용했습니다. 이렇게 증류된 모델은 256-px 해상도에서 25fps 비디오 생성을 달성합니다. 목적에 맞게 설계된 트랜스포머 ASIC(Application-Specific Integrated Circuit)이 궁극적으로 저희가 이 비디오 모델을 4k 해상도로 스트리밍할 수 있게 할 것입니다.

2. 무한 비디오 문제 해결. 대부분의 비디오 DiT 모델(Sora, Runway, Kling)은 5초 분량의 청크를 생성합니다. 이들은 첫 번째 청크의 끝 부분을 두 번째 청크의 시작 부분에 피드하여 자기회귀적(autoregressive) 방식으로 반복적으로 확장할 수 있습니다. 하지만 안타깝게도, 모델은 여러 번 확장되면서 누적되는 생성 오류로 인해 품질 저하를 겪습니다. 저희는 장기 시퀀스 전반에 걸쳐 시각적 일관성(visual coherence)을 유지하는 시간적 일관성 보존 기술(temporal consistency preservation technique)을 개발했습니다. 이 기술은 인공물(artifact) 축적을 크게 줄여주어 무한히 긴 비디오를 생성할 수 있게 합니다.

3. 최소 지연 시간을 가진 복잡한 스트리밍 아키텍처. 종단 간(end-to-end) 아바타 줌 통화를 가능하게 하려면, 음성 전사(voice transcription), LLM 추론(LLM inference), 그리고 텍스트-음성 변환(text-to-speech)을 포함한 여러 구성 요소가 필요합니다.