DubWorld 출시: 로컬 환경에서 비디오를 다른 언어로 더빙하는 오픈소스 시스템

RT @alihaydar_58_: 🎬 DubWorld가 공개되었습니다! 여러분의 컴퓨터에서 다른 언어로 동영상을 더빙하세요. 🌍

수개월 동안 작업해 온, 역대 가장 큰 오픈 소스 프로젝트를 공유합니다. 단순한 도구가 아니라, 서로 연결된 수십 개의 모터로 구성된 엔드투엔드(end-to-end) 더빙 파이프라인입니다.

⚙️ 작동 방식:
🎧 음성 분리 (Audio Separation): 배경 음악에서 대화만 분리합니다.
📝 전사(Transkripsiyon): 단어별 타임스탬프가 포함된 텍스트로 변환합니다.
👥 화자 인식 (Speaker Recognition): 각 화자에게 별도의 인공 음성을 할당합니다.
🌐 번역: 인터넷 연결 없이 로컬에서 번역하거나 Claude Code / Codex 지원을 활용합니다.
🎙️ 음성 합성 (Voiceover/TTS): 여러 음성 엔진 중에서 선택할 수 있습니다.
⏱️ 동기화 (Synchronization): 오디오가 원본 비디오와 일치하도록 시간 조정됩니다.
🎞️ 자막: SRT, VTT 및 노래방 스타일의 ASS 자막을 지원합니다.

🧩 각 단계는 개별적으로 작동합니다. 자막만 추출할 수도 있고, 음성 합성만 할 수도 있습니다.

🤖 설치를 위해 프로그래머일 필요가 없습니다. 컴퓨터에서 실행되는 AI 어시스턴트에게 문장 하나만 붙여넣으면 됩니다. 하드웨어를 측정하고, 사용자에게 적합한 설치 방법을 간단한 언어로 질문하며, 대신 설치까지 완료해 줍니다.

📚 8개 언어의 문서, 투명한 라이선스 테이블, 윤리 및 개인정보 보호 가이드가 준비되어 있습니다.
🔒 클라우드는 없습니다. 데이터는 여러분의 컴퓨터에 남아있습니다.
💻 VRAM 4GB 그래픽 카드뿐만 아니라 CPU만으로도 작동합니다.

이 프로젝트를 통해 오픈 소스 커뮤니티에, 누구나 자신의 컴퓨터에서 사용할 수 있는 완벽한 더빙 인프라를 제공하고자 했습니다. 별 하나, 테스트 한 번, 제안 하나, 또는 기여 하나... 이 모든 것이 함께 이 길을 성장시킵니다. 🤝🇹🇷

🎬 DubWorld (더빙 파이프라인):

🎙️ VoxCPM2 터키어 음성 합성 (TTS):

📝 CrisperWhisper 터키어 단어 전사 (STT):

참고: 일부 선택적 모터는 비상업적 사용에 한해서만 이용 가능합니다. 자세한 내용은 레포지토리의 라이선스 테이블을 확인하세요.

#오픈소스 #인공지능 #더빙 #OpenSource #TTS #STT