이 모든 것을 무료로 처리하는 도구가 공개되었습니다. 이미 GitHub에서 순식간에 스타(star)가 10,000개를 넘어섰습니다.

'YouTube 영상 전체 다국어 더빙 머신' 같은 것이 출시되었는데, 이름은 Voice-Pro입니다.

• 해외 영상에서 사람의 목소리만 추출함
• 음성을 전사(transcribe)하고 100개 이상의 언어로 번역함
• 원본 화자의 목소리를 모방하여 다른 언어로 더빙함

등—AI가 영상의 전체 오디오 측면을 처리할 수 있게 해주는 시스템입니다.

놀라운 점은, 단순히 기계적인 합성 음성으로 번역된 자막을 읽는 것이 아니라, '원본 화자의 목소리 자체'를 사용하여 다른 언어로 더빙할 수 있다는 것입니다.

과정은 다음과 같습니다: Whisper라는 음성-텍스트 AI로 영상의 오디오를 전사(transcribe) →

이것은 본질적으로 '자막으로 의미를 따라가는 것'에서 '모국어 목소리로 그대로 듣는 것'으로의 전환입니다.

지금까지 개별 소프트웨어로 하던 작업들이 브라우저 한 화면에 통합되었습니다.

• 음성과 BGM을 분리하는 AI (Demucs)
• 음성을 문자로 변환하는 AI (Whisper)
• 목소리를 복사하여 더빙하는 AI (F5-TTS 등)

예를 들어, '영어 해설 영상을 일본어 더빙 버전으로 만들고 싶다'라고 생각한다면,

① YouTube URL을 붙여넣어 영상 가져오기
② 음성과 BGM 분리 후, 말을 일본어로 번역하기
③ 원본 화자의 목소리를 복사하여 일본어로 더빙하기

실제 리포지토리는 여기입니다:
https://github.com/abus-aikorea/v oice-pro

오픈 소스라 기본 기능은 무료이며, Windows / Mac / Linux에서 작동합니다 (고품질의 일부 오디오만 외부 유료 서비스 연동이 필요).

참고한 원 포스트는 여기입니다.