LipDub (Beta): 새로운 오픈 소스 립싱크 IC-LoRA

요약

LipDub은 LTX를 기반으로 구축된 새로운 오픈 소스 립싱크 기능의 베타 버전입니다. 이 도구는 기존 비디오에 새 음성을 재생성하고 입 움직임을 단일 패스로 대체하며, 화자의 외모와 목소리 정체성은 유지합니다. 사용자는 이를 통해 다른 언어로 더빙하거나 원본 대화를 재구성하는 등 다양한 창작 작업을 수행할 수 있습니다.

핵심 포인트

• 기존 비디오를 가져와 음성을 재생성하고 입 움직임을 단일 패스로 대체하는 IC-LoRA 어댑터입니다.
• 화자의 외모, 목소리 정체성 등 입 영역을 제외한 모든 요소는 원본 그대로 보존됩니다.
• 주요 기능으로는 다른 언어로 더빙(Dubbing) 및 원본 대화 재구성/대체가 가능합니다.
• 1080p Full HD 출력과 최대 8초 클립까지 지원하며, 영어, 프랑스어 등 여러 언어를 지원합니다.