LipDub (Beta): 새로운 오픈 소스 립싱크 IC-LoRA

오늘 저희는 LTX를 기반으로 구축된 새로운 오픈 소스 립싱크 기능인 LipDub의 베타 버전을 공개합니다.

LipDub은 기존 비디오를 가져와 음성을 재생성하고 입 움직임을 함께 단일 패스로 대체하는 IC-LoRA 어댑터입니다. 원본 비디오와 새 대화가 담긴 텍스트 프롬프트를 제공하면, 화자의 외모, 목소리 정체성(vocal identity), 톤, 전달 방식 등 입 영역을 제외한 모든 것을 보존합니다.

이 베타 버전에는 다음 기능이 포함됩니다:

• 1080p Full HD 출력
• 최대 8초 클립
• 단일 화자 지원
• 검증된 언어: 영어(English), 프랑스어(French), 스페인어(Spanish), 독일어(German), 러시아어(Russian).

이 기능을 활용하여 할 수 있는 것:

• 다른 언어로 더빙하기 (Dub into another language)
• 원본 언어의 대화 재구성 또는 대체하기 (Rephrase or replace dialogue in the original language)
• 토킹 헤드 생성 워크플로우(Talking-head generation workflows)

링크:

• HuggingFace: https://huggingface.co/Lightricks/LTX-2.3-22b-IC-LoRA-LipDub
• ComfyUI workflow: https://github.com/Lightricks/ComfyUI-LTXVideo/blob/master/example_workflows/2.3/LTX-2.3_ICLoRA_Lipdub_Two_Stage_Distilled.json
• Python pipeline: https://github.com/Lightricks/LTX-2/blob/main/packages/ltx-pipelines/src/ltx_pipelines/lipdub.py
• 문서(Documentation): https://docs.ltx.video/open-source-model/usage-guides/lip-dub-beta }{

이것은 초기 오픈 소스 베타 릴리스입니다. API가 출시되기 전에 커뮤니티에 제공합니다. 자유롭게 탐색하고, 오류를 찾아내고(break it), 이를 활용하여 구축해 보시고(build with it), 발견한 점을 알려주세요.

LipDub은 Lightricks와 Tel Aviv University 연구원들이 발표한 논문 Video Dubbing via Joint Audio-Visual Diffusion에 기반하고 있으며, 이 논문에서는 왜 공동 오디오-비주얼 생성(joint audio-visual generation)이 모듈식 파이프라인보다 우수한지에 대해 다루고 있습니다.