Lemon Slice는 커스텀 확산 트랜스포머(DiT) 모델을 활용하여 사진 한 장만으로 실시간 대화가 가능한 아바타를 구현했습니다. 기존의 HeyGen 같은 플랫폼과 달리, 별도의 캐릭터 학습이나 인간 오퍼레이터 없이도 어떤 스타일의 이미지든 즉시 영상 통화를 할 수 있습니다. 특히 5초 단위로 끊기는 기존 모델의 한계를 극복한 '시간적 일관성 보존 기법'을 통해 무한 길이의 비디오 생성이 가능하며, 전체 시스템 지연 시간(latency)은 사용자 입력부터 아바타 응답까지 3~6초를 달성했습니다.
핵심 포인트
커스텀 확산 트랜스포머(DiT) 모델을 활용하여 사진 기반의 실시간 대화형 아바타 영상을 구현했습니다.
기존 플랫폼과 달리 별도의 캐릭터 학습이나 인간 개입 없이, 단일 이미지 업로드만으로 다양한 스타일의 아바타를 즉시 영상 통화에 사용할 수 있습니다.
시간적 일관성 보존 기법을 개발하여 기존 모델(Sora, Runway 등)의 5초 단위 길이 제한 문제를 해결하고 무한 길이 비디오 생성을 가능하게 했습니다.
Deepgram, Modal 등을 조합한 스트리밍 아키텍처를 통해 사용자 입력부터 응답까지 3~6초의 낮은 엔드투엔드 지연 시간(latency)을 달성했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 HN AI Research의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
안녕하세요, HN 커뮤니티 여러분. 저희는 Lemon Slice의 Lina, Andrew, Sidney입니다. 저희는 맞춤형 확산 트랜스포머(Diffusion Transformer, DiT) 모델을 훈련시켰으며, 이 모델은 25fps로 비디오 스트리밍이 가능합니다. 이를 활용하여 누구나 사진을 실시간으로 말하는 아바타로 변환할 수 있는 데모를 만들었습니다. 공동 창업자인 Andrew가 진행한 예시 대화는 다음 링크에서 확인하실 수 있습니다:
HeyGen, Tolan 또는 Apple Memoji 필터와 같은 기존의 아바타 화상 채팅 플랫폼과 달리, 저희는 맞춤형 모델 훈련이나 캐릭터를 미리 리깅(rigging)할 필요가 없으며, 사람이 직접 아바타를 조종할 필요도 없습니다. 저희 기술을 사용하면 단 하나의 이미지를 업로드하는 것만으로 사용자들은 자신만의 커스텀 캐릭터를 만들고 즉시 화상 통화를 할 수 있습니다. 이 캐릭터 이미지는 포토리얼리스틱(photorealistic)부터 만화, 그림 등 어떤 스타일이든 가능합니다.
이 데모를 구현하기 위해 저희는 다음을 포함하여 여러 작업을 수행해야 했습니다 (하지만 이것들이 가장 어려웠습니다):
빠른 DiT 모델 훈련. 비디오 생성을 빠르게 만들기 위해, 속도와 품질 사이의 적절한 균형을 맞춘 모델을 설계하고 표준 증류(distillation) 접근 방식을 모두 사용해야 했습니다. 저희는 먼저 오디오에 대한 뛰어난 입술 및 얼굴 표정 동기화(sync)를 달성하는 커스텀 비디오 확산 트랜스포머(DiT)를 처음부터 훈련시켰습니다. 모델의 속도를 더욱 최적화하기 위해, 교사-학생 증류(teacher-student distillation)를 적용했습니다. 이렇게 증류된 모델은 256-px 해상도에서 25fps 비디오 생성을 달성합니다. 목적에 맞게 설계된 트랜스포머 ASIC(Application-Specific Integrated Circuit)이 궁극적으로 저희가 이 비디오 모델을 4k 해상도로 스트리밍할 수 있게 할 것입니다.
무한 비디오 문제 해결. 대부분의 비디오 DiT 모델(Sora, Runway, Kling)은 5초 분량의 청크를 생성합니다. 이들은 첫 번째 청크의 끝 부분을 두 번째 청크의 시작 부분에 피드하여 자기회귀적(autoregressive) 방식으로 반복적으로 확장할 수 있습니다. 하지만 안타깝게도, 모델은 여러 번 확장되면서 누적되는 생성 오류로 인해 품질 저하를 겪습니다. 저희는 장기 시퀀스 전반에 걸쳐 시각적 일관성(visual coherence)을 유지하는 시간적 일관성 보존 기술(temporal consistency preservation technique)을 개발했습니다. 이 기술은 인공물(artifact) 축적을 크게 줄여주어 무한히 긴 비디오를 생성할 수 있게 합니다.
최소 지연 시간을 가진 복잡한 스트리밍 아키텍처. 종단 간(end-to-end) 아바타 줌 통화를 가능하게 하려면, 음성 전사(voice transcription), LLM 추론(LLM inference), 그리고 텍스트-음성 변환(text-to-speech)을 포함한 여러 구성 요소가 필요합니다.