ElevenLabs Dubbing v2 업데이트: 원본 목소리, 톤, 감정 및 입모양 길이를 유지하며 29개 언어로 비디오 더빙 가능

ElevenLabs Dubbing v2가 업그레이드된 것을 발견했습니다. 비디오 더빙을 29개 언어로 변환할 수 있으며, 동시에 원본의 목소리, 어조, 감정 및 입모양(Lip-sync) 길이를 유지합니다.
https://elevenlabs.io/app/dubbing

비디오 또는 오디오 파일을 업로드하고 대상 언어를 선택하면, AI가 자동으로 화자를 식별하고, 배경음을 분리하며, 번역문을 생성하고, 더빙 및 믹싱을 수행합니다. 출력되는 더빙은 길이와 감정 측면에서 원본 영상에 최대한 밀착되어, 눈에 띄는 리듬 불일치가 발생하지 않습니다.

다중 화자 식별을 지원하여 서로 다른 캐릭터의 목소리를 개별적으로 처리할 수 있습니다. 배경 음악과 효과음은 유지되고 목소리 부분만 교체됩니다. 또한 번역문을 수동으로 조정하거나 특정 구간의 더빙을 다시 생성할 수 있습니다.

중국어 비디오를 영어, 일본어 등 다른 언어로 빠르게 전환해야 하는 콘텐츠 크리에이터, 다국어 현지화(Localization) 효과를 테스트하고 싶거나 성우를 고용하고 싶지 않은 제품 팀, 외국어 비디오를 중국어로 변환하여 내용을 쉽게 이해해야 하는 학습 상황에 적합합니다.

비디오의 다국어 더빙 효과를 빠르게 테스트해야 한다면 이 도구를 시도해 보세요.

Vibe Coding을 전문적으로 가르치는 오픈 소스 코스인 Easy-Vibe를 발견했습니다. 핵심 아이디어는 먼저 순수 대화만으로 실행 가능한 Web App을 만들게 한 뒤, 공학 지식을 보충하는 방식입니다. 기초 지식이 없는 사람, 프로덕트 매니저(PM), 창업자가 AI 프로그래밍에 빠르게 입문하기에 적합합니다.

GitHub:
https://github.com/datawhalechina/easy-vibe

공식 웹사이트:
https://datawhalechina.github.io/easy-vibe/

세 단계로 나누어 학습합니다: Stage 1 (입문): 아이디어에서 제품 프로토타입까지, AI를 사용하는 법을 배웁니다.