Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
이 기사는 로컬 오픈 웨이트 모델을 활용하여 대화 번역 및 요약 과정에서 발생하는 오류를 측정하는 Python 툴킷을 소개합니다. 해당 도구는 시간 창 적합성, 자막 타이밍, 지연 시간 등 네 가지 명령줄 검사를 제공하며, Opus-MT와 Gemma 3 4B 같은 모델 출력을 분석하여 문제점을 진단합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기저는 로컬 오픈 웨이트 모델을 사용하여 대화를 번역하고 줄인 다음, 그 출력물이 어디에서 실패했는지 측정했습니다. 유용한 결과는 완벽한 더빙이 아니었습니다. 그것은 오류를 눈에 보이게 만드는 일련의 검사였습니다.
Localisation measurements는 네 가지 명령줄 검사를 갖춘 Python 툴킷입니다:
핵심 도구들은 파이썬 표준 라이브러리만을 사용합니다. 별도의 예제는 Opus-MT를 사용하여 영어-프랑스어 번역을 수행하고, 더 짧은 변형을 위해 로컬 Ollama를 통해 Gemma 3 4B를 사용합니다. 완전한 비디오 더빙 및 실시간 통역 애플리케이션은 향후 통합 작업이며, 이 저장소는 dub 또는 interpret 명령어를 제공하지 않습니다.
아래 예제들은 저장된 모델 출력을 설명합니다. 이들의 타이밍 비율은 저장소에서 재계산할 수 있으며, 새로운 모델 추론 실행이 아닙니다.
녹화된 실험에서 Opus-MT를 사용하여 12개의 가상 대화 라인을 번역했습니다. 휴리스틱(heuristic)은 영어 음절 102개와 프랑스어 음절 98개를 계산했습니다. 이 작은 샘플만으로는 언어 간의 일반적인 확장률을 확립할 수 없습니다.
라인별 검사가 더 유용했습니다: 네 개의 번역은 직접적으로 맞았고, 두 개는 늘려야 했으며, 두 개는 너무 짧았고, 네 개는 너무 길었습니다 (설정된 타이밍 모델 하에서).
중요한 참고 사항: 이 창(window)들은 녹음된 오디오에서 가져온 것이 아니라 영어 음절 수로 계산되었습니다. 발화 지속 시간 또한 추정치입니다. 적합 비율은 유용한 검토 신호일 뿐, 오디오 동기화의 증거는 아닙니다.
Gemma는 네 개의 너무 긴 라인에 대해 더 짧은 변형을 제안했습니다. 저장된 세 가지 후보가 설정된 0.80에서 1.06 사이의 창 안에 들어갑니다. 한 예시:
Line 011
Before: Et les autres, on ne peut pas les abandonner.
After: Et les autres, on ne les abandonne pas.
...
라인 001은 하한선인 0.793x 미만을 유지합니다. 성공으로 간주되기보다는 거부됩니다. 이들은 서로 다른 대화 라인입니다. 라인 001에서의 2.38x 실패가 라인 011의 0.97x 결과로 이어지지 않습니다.
타이밍만으로는 의미를 검증할 수 없습니다. 라인 008은 타이밍 검사를 통과하는 동안 과거 시제에서 현재 시제로 변경됩니다. 모든 후보는 인간의 검토가 필요합니다.
Source and reproduction instructions
python -B verifier.py
python localisation/ajuster_doublage.py exemples/segments-opusmt.json
검증기(verifier)는 종료 코드와 수동으로 계산된 결과를 확인하여 78개의 케이스를 통과합니다. 예시 입력은 의도적으로 실패하는 품질 점검 종료 코드를 생성할 수 있습니다. 이는 측정 과정에서 문제가 발견되었음을 의미합니다.
신규 적응(Fresh adaptation)을 위해서는 gemma3:4b가 설치된 Ollama가 필요합니다:
python exemples/adapter_avec_gemma.py
신규 생성 결과는 저장된 실험과 다를 수 있습니다. 리포지토리는 모델 종속성을 표준 라이브러리 검사와 별도로 문서화합니다.
로컬 추론(Local inference)을 사용하면 사용자가 합성 전에 중간 텍스트를 검사하고, 측정하며, 거부할 수 있습니다. 네 가지 측정값은 또한 어떤 모델과도 독립적으로 실행될 수 있습니다. 모델 가중치와 개별 라이선스는 코드와 분리되어 있으며, 코드는 AGPL-3.0-or-later 하에 배포됩니다.
이 툴킷과 저장된 실험은 2026년 10월 25일에 생성되었습니다. 이는 발표된 4주차 개막일인 10월 26일 이전의 작업입니다. 제출하기 전에 자격 요건 및 필요한 모든 챌린지 태그는 최종 공개 규칙과 대조하여 확인해야 합니다.
이 프로젝트는 측정된 음성 지연 시간(speech latency), 완성된 오디오, 음성 복제 제어(voice cloning controls), 스테레오 분리(stem separation), 또는 엔드투엔드 더빙을 시연하지 않습니다. 에이전트-세션 공유 링크를 주장하지 않습니다. 상금 카테고리와 수상은 가정되지 않습니다.