Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 비디오 번역 파이프라인을 개선하여, 오류 수정 비용을 최소화하는 데 초점을 맞췄습니다. 사용자가 TTS 합성 전에 스크립트를 검토하고 편집할 수 있는 단계를 추가했으며, 일관성을 위한 용어집(glossary) 기능과 별도의 SRT 파일 출력을 지원합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 AI Video Translator를 1인 개발자로서 운영하고 있습니다. 이번 주에는 모두 동일한 사용자 불만 사항에서 비롯된 세 가지 기능을 출시했습니다. 바로 **"더빙이 완료된 후에야 번역이 틀렸다는 것을 알게 돼요."**라는 내용입니다.
원래 파이프라인은 한 번의 통과로 끝까지 실행되었습니다:
STT → translation → voice cloning / TTS → time-stretch + remix → output
사용자들은 결과물을 듣고 나서야 이름이 문자 그대로 번역되었거나, 영상에 맞지 않는 톤이거나, 또는 에피소드 3에서 다르게 표현된 용어 같은 오류를 발견했습니다. 유일한 해결책은 전체 더빙을 다시 실행하는 것이었습니다.
비용 비대칭성은 제가 이를 살펴본 후 명확해졌습니다. 텍스트 한 줄을 편집하는 것은 거의 무료입니다. 음성을 재생성하는 것은 그렇지 않습니다. 따라서 목표는 간단해졌습니다. 사용자가 파이프라인에서 가장 저렴한 지점에서 실수를 수정할 수 있도록 하는 것입니다.
STT
|
v
...
번역 후, 스크립트는 원본 옆에 줄 단위로 표시됩니다. 사용자가 편집하는 모든 내용이 TTS의 입력값이 됩니다.
주요 UX 제약 조건은 줄 길이입니다. 번역된 음성은 이미 원본보다 더 길게 나오는 경향이 있습니다. 만약 사용자가 추가적인 설명으로 한 줄을 확장하더라도, 여전히 같은 시간 슬롯에 맞춰야 하므로 목소리가 빨라집니다. 제가 UI에서 강조하는 규칙은 다음과 같습니다: 필요하다면 의미를 변경하고, 길이는 가깝게 유지하세요.
검토 단계는 하나의 비디오를 수정합니다. 용어집이 없다면, 같은 실수가 다음 영상에서도 반복되어 사용자들이 동일한 단어를 계속해서 고쳐야 합니다.
사용자가 이제 고정된 목표 번역과 함께 소스 용어를 등록할 수 있으며, 이는 번역 단계에서 적용됩니다. 이는 제가 만화 번역기에서 캐릭터 이름을 위해 구축했던 용어집(glossary layer)의 아이디어와 동일합니다 (write-up here)만, 비디오에서는 제품명, 기술 용어 및 채널별 구문이 대상입니다. CSV 가져오기(import)와 내보내기(export) 기능을 통해 시리즈 전반에 걸쳐 재사용할 수 있고 팀원들과 공유가 가능합니다.
두 기능은 서로 시너지를 냅니다: 검토 과정에서 수정하는 모든 단어는 용어집 후보가 됩니다. 첫 번째 에피소드는 실제 검토 시간이 필요하지만, 열 번째 에피소드에 이르면 검토는 간단한 스캔만으로 가능해집니다.
이전에는 유일한 출력이 자막이 구워진(burned in) 비디오였습니다. 캡션 오타 하나를 수정하려면 전체 비디오를 다시 렌더링해야 했습니다.
이제 모든 더빙은 별도의 SRT 파일을 포함하여 배포되며, 자막을 구울지 여부는 선택 사항입니다. SRT는 검토된 스크립트를 기반으로 구축되므로, 편집 내용은 오디오와 캡션 양쪽에 모두 반영됩니다. 크리에이터들은 깨끗한 비디오를 YouTube에 업로드하고 YouTube Studio에서 SRT 파일을 추가하거나, 코스 플랫폼에 자막을 별도로 업로드할 수 있습니다.
이 기능은 제가 하루 전에 출시했던 다중 화자 감지(multi-speaker detection) 위에 구축되어 있으며, 이 기능을 통해 비디오의 각 화자가 고유한 목소리를 유지합니다.
저는 원래 '번역부터 더빙까지 완전 자동화'를 주요 판매 포인트로 내세웠습니다. 하지만 긴 시리즈나 코스 콘텐츠를 더빙하는 사용자들은 통제력이 떨어지는 것을 원하지 않았습니다. 그들은 개입할 수 있는 공간을 원했습니다. 자동화 기능은 유지하되, 인간의 개입 비용이 가장 저렴한 지점에 조절 장치(handle)만 추가한 것입니다.
워크플로우에 대한 더 자세하고 사용자 친화적인 설명(훈련 및 코스 비디오 사용 사례 포함)은 여기에서 작성했습니다: How to Review and Edit AI Dubbing Translations (and Keep Terminology Consistent)
줄 단위 검토가 적절한 세부 수준일까요, 아니면 단락별 또는 화자별로 그룹화하는 것이 더 좋을까요?
시리즈별 용어집의 경우, CSV 파일이 충분할까요, 아니면 팀에 더 좋은 형식이 있을까요?
질문해주신 모든 분들께 감사드립니다.
