TTS가 구절의 17%를 조용히 누락했고 아무도 알아채지 못해서 — 그래서 모든 줄을 다시 전사하는 로컬 오디오북 도구를 만들었습니다

저는 Apple Silicon Mac용 로컬 스크립트-음성 워크스테이션인 VoxStage를 구축해 왔습니다. 화자 레이블이 없는 산문 챕터를 붙여넣으면, 라인별로 청취하고 수정하거나 다시 하거나 내보낼 수 있는 다중 음성 읽기가 제공됩니다. 모든 것이 Mac에서 실행되며, 계정이나 클라우드 API, 원격 측정 기능이 없습니다. 이것이 존재하는 이유: 이전에 진행한 로컬 음성 복제 테스트에서 긴 구절이 유창하고 자연스럽게 나왔는데 — 중간 부분의 40자(약 17%)가 단순히 사라졌습니다. 남아 있는 텍스트는 여전히 정상적인 문장처럼 읽혔기 때문에 아무도 알아채지 못했습니다. 이로 인해 두 가지 디자인 규칙이 변경되었습니다: 한 번에 전체 구절을 생성하는 것이 아니라, 문장 단위로 생성합니다. 그리고 모든 생성된 라인을 로컬 인식기(whisper.cpp)를 사용하여 다시 전사하고 스크립트와 비교합니다. 불일치는 자동으로 수정되지 않고 귀가 듣도록 표시됩니다. 사용된 기술 스택은 다음과 같습니다: - 음성: MLX 기반의 Qwen3-TTS (0.6B / 1.7B 프리셋 음성, 설명으로부터의 음성 디자인, 권리를 확인한 녹음으로부터의 복제) - 누가 무엇을 말하는가: llama.cpp를 통한 로컬 LLM(Qwen3-14B 또는 32GB에서 Qwen3-30B-A3B)이 각 라인의 화자를 초안 작성하고, 그 위에 프로그램 측 규칙이 적용되며, 사용자가 검토합니다 - 재확인(Read-back check): whisper.cpp M2 Max 32 GB 사양에서 테스트한 결과, 『오만과 편견』 챕터 1의 경우: 35개 단위에 대한 화자 초안을 14.8초 만에 작성했으며; 28개의 라인을 51초 동안 144.7초 분량의 오디오로 합성했습니다 (RTF 0.358, 프리셋 음성 경로); 재확인 검사는 28초가 소요되었습니다. 솔직한 한계점: - 화자 초안은 초안일 뿐입니다. 제가 평가했을 때 대부분의 장면은 적어도 하나의 수정이 필요했기 때문에, 검토 단계 자체가 제품이며 형식적인 절차가 아닙니다. - 현재 중국어와 영어만 지원합니다. - 설치 과정은 여전히 개발자 스타일(Homebrew + 터미널, 주로 모델 다운로드에 약 30분 소요)이며 저의 Mac에서만 검증되었습니다. 원클릭 설치 프로그램이 진행 중입니다. 기타 기능: 한 문장을 편집하면 해당 문장만 재생성됩니다; 실제 오디오로부터 시간 표시가 된 자막(SRT/VTT)을 제공합니다; DaVinci Resolve로 가져올 수 있는 FCP7 XML 타임라인을 지원합니다; 긴 텍스트는 장이 계승되는 책 형태로 유지됩니다.

샘플 (길이가 긴 것부터): https://houjun.dev/voxstage/#listen 코드 (AGPL-3.0): https://github.com/hera2019/VoxStage 저는 특히 다음 내용들을 듣고 싶습니다: - 소설 속 화자 식별(speaker attribution)에 가장 좋은 로컬 모델은 무엇인지 - 다른 TTS 모델에서도 동일한 무음 건너뛰기(silent-skip) 동작을 본 사람이 있는지 - M2 Max가 아닌 Mac에서 설치를 시도했을 때 작동하는지 /u/HoujunDev 제출 [링크] [댓글]