배우 각자의 목소리를 유지하는 오픈소스 더빙 툴을 만들었습니다 (OmniVoice + Whisper, 6 GB+ NVIDIA)
요약
배우 개개인의 목소리를 유지하며 콘텐츠를 더빙할 수 있는 오픈소스 툴을 공개했습니다. 이 시스템은 OmniVoice, Whisper 등 로컬 모델들을 활용하여 영어 번역이 어려운 쇼와 영화도 접근 가능하게 만듭니다. 레포지토리에 모든 스크립트와 가이드가 포함되어 있어 사용자가 쉽게 개선에 참여할 수 있습니다.
핵심 포인트
- 배우별 목소리 유지 더빙 오픈소스 툴 공개
- OmniVoice, Whisper 등 로컬 모델 기반 작동
- 로컬 환경에서 구동 가능하여 접근성 높음
- 레포지토리를 통해 사용자의 개선 참여 유도
저는 이것을 사용하여 영어로 번역된 적이 없는 쇼와 영화들을 시청했습니다. AI 덕분에 이제 접근 가능한 정말 많은 좋은 콘텐츠가 있습니다. 기본적으로 레포지토리를 클론하고 로컬 모델(또는 비-로컬 모델)에게 더빙 과정을 지시하면 됩니다. 나머지 도구들 역시 모두 로컬입니다 (OmniVoice, IndexTTS, Chatterbox, Whisper). 이 레포지토리에는 배우 각자의 목소리로 성공적인 더빙을 할 수 있도록 하는 모든 스크립트와 가이드가 포함되어 있습니다. 또한 자체 스크립트를 개선하도록 지시받았으니, 모두에게 도움이 되도록 자유롭게 개선 사항을 제시해 주세요. 감사합니다. 애니메이션 샘플:
영화 샘플: 레포지토리: https://github.com/swax/dub-anything /u/_swax_가 제출했습니다. [링크] [댓글]AI 자동 생성 콘텐츠
본 콘텐츠는 Reddit AI Engineering의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기