사진 한 장과 오디오로 입 모양이 동기화된 3D 아바타 비디오를 실시간 생성, 단일 GPU로 25fps 구동 가능

요약

AVTR-1은 사진 한 장과 오디오를 입력받아 입 모양이 동기화된 3D 아바타 비디오를 실시간으로 생성하는 모델입니다. 단일 GPU 환경에서도 25fps의 속도로 1인 및 2인 대화 시뮬레이션이 가능합니다.

핵심 포인트

• 사진 한 장과 오디오로 실시간 3D 아바타 생성
• 단일 GPU에서 25fps의 실시간 구동 성능 확보
• 1인 및 2인 대화 모드와 입 모양 동기화 지원
• HuggingFace를 통한 모델 가중치 공개