개인화된 낭독 그림책을 만드는 과정에서 가장 어려운 점은 부모와 똑같이 들리는 목소리를 생성하는 것이 아닙니다. 현재의 제로샷 (Zero-shot) TTS는 놀라울 정도로 짧은 참조 클립만으로도 그 기준을 통과합니다. 진짜 어려운 점은, 목소리가 정확하게 들리더라도 여전히 잘못 읽을 수 있다는 것입니다. 단조롭고, 일정한 속도로 진행되며, 페이지의 마지막 문장에서 고조되는 느낌이 없는 식입니다. 다섯 살 아이는 왜 그런지 말은 못 해도 즉각적으로 알아차립니다.

그 간극에서 중요한 것은 다음과 같습니다: 샘플 품질 (Sample quality), 운율 (Prosody), 속도 (Pacing). 그리고 전체 설계를 형성하는 제약 조건인 동의 (Consent)입니다.

제로샷 복제 (Zero-Shot Cloning)에 실제로 필요한 것

대부분의 사람들이 가진 사고 모델은 "오디오가 많을수록 더 나은 복제본이 된다"는 것입니다. 이는 파인튜닝 (Fine-tuning) 시대에는 사실이었습니다. 짧은 참조를 바탕으로 신경 코덱 언어 모델 (Neural codec language model)을 조건화하는 현재의 제로샷 아키텍처 (Zero-shot architectures)에서는 그 곡선이 빠르게 평탄해집니다. 이 계열의 발표된 연구들 (VALL-E, XTTS 및 그 후손들)은 분 단위가 아닌 초 단위의 클립만으로도 사용 가능한 화자 유사성 (Speaker similarity)을 보고합니다.

평탄해지지 않는 것은 샘플 품질에 대한 민감도입니다. 최악의 요소부터 나열하자면 다음과 같습니다:

1. 잔향 (Reverb). 공간의 임펄스 응답 (Impulse response)이 화자 임베딩 (Speaker embedding)에 박혀버립니다. 그러면 복제된 목소리는 영구적으로 그 욕실 안에 있는 것처럼 들리게 되며, 어떤 후처리로도 깔끔하게 제거할 수 없습니다. 부모가 녹음한 샘플을 망치는 첫 번째 요인입니다.
2. 비정상 소음 (Non-stationary noise). 정지 소음 (Stationary hiss)은 게이트 (Gate) 처리를 할 수 있습니다. 하지만 옆 방에서 들리는 TV 소리는 불가능합니다.
3. 코덱 아티팩트 (Codec artifacts). 화상 통화를 통해 캡처되었거나 낮은 비트레이트 (Bitrate)로 재인코딩된 클립은 모델이 의존하는 세부 정보를 잃어버립니다.
4. 클리핑 (Clipping). 복구 불가능합니다. 모델은 그 왜곡을 음색 (Timbre)으로 학습합니다.
5. 길이 (Length). 연결된 발화의 깨끗한 몇 초만 있다면, 진정으로 마지막 순위입니다.

따라서 녹음 흐름을 길이가 아닌 품질에 최적화하십시오. 우리는 샘플을 수락하기 전에 클라이언트 측에서 게이팅을 수행합니다:

function screenSample(buffer, sampleRate) {
  const issues = [];

...

해당 estimateDecayTime 휴리스틱 (heuristic)은 불완전하지만, 승리의 핵심인 주방과 욕실 소리를 안정적으로 거부해 줍니다. 나중에 사과하는 상황을 맞이하며 잘못된 샘플을 수용하는 것보다, "부드러운 가구가 있는 방에서 시도해 보세요"와 같은 구체적인 지침과 함께 나쁜 샘플을 거부하는 것이 훨씬 낫습니다.

또한: 단어 하나하나를 끊어서 말하는 것이 아니라, 연결되고 표현력이 풍부한 음성을 요청하세요. 모델은 음색 (timbre)뿐만 아니라 운율적 스타일 (prosodic style)에도 조건화 (conditioning)되므로, 단조로운 단어 목록은 모든 것을 단조롭게 읽는 복제본을 만들어냅니다. 아이에게 읽어주듯 읽는 짧은 구절을 요청하세요. 이는 더 나은 샘플인 동시에 더 나은 스타일 프롬프트 (style prompt)가 됩니다.

운율 (Prosody) 이야말로 실제 제품이다

여기서 단순한 파이프라인 (pipelines)들이 실패합니다. 정확한 음색, 정확한 발음을 갖추었음에도 불구하고, 마치 무언가에 늦은 사람이 낭독하는 오디오북처럼 들릴 수 있습니다.

동화책에는 TTS (Text-to-Speech) 기본값에 저항하는 리듬이 있습니다:

• 페이지 끝의 윤곽 (Page-final contour). 페이지를 넘기는 것은 하나의 비트 (beat)입니다. 마지막 문장은 문장 부호가 암시하는 것보다 더 긴 여운이 남는 휴지 (pause)를 필요로 합니다.
• 반복의 고조 (Repetition escalation). "그리고 그는 걸었습니다, 그리고 그는 걸었습니다, 그리고 그는 걸었습니다" — 사람은 반복될 때마다 음높이를 높이거나 속도를 늦춥니다. 각 절을 동일하게 읽는 것은 재미를 죽입니다.
• 의성어와 강조 (Onomatopoeia and emphasis). 이러한 요소들은 모델의 기본 범위를 훨씬 벗어나는 과장된 지속 시간과 음높이 범위를 필요로 합니다.
• 더 느린 기본 속도 (A slower baseline rate). 성인 낭독은 분당 약 150단어 근처에 머물지만, 어린 아이에게 읽어주는 것은 더 느리며 문장 사이의 간격도 더 깁니다.

원문 텍스트만으로는 이러한 요소를 얻기 어려우므로, 대신 주석이 달린 스크립트 (annotated script)를 보내세요:

{
  "page": 7,
  "segments": [
...

그런 다음 페이지 전체를 한 번에 요청하는 대신, 세그먼트 (segment)별로 합성하고 명시적인 무음 (silence)과 함께 연결하세요. 여기에는 두 가지 이유가 있습니다. 첫째는 결정론적인 휴지 제어 (deterministic pause control, 문장 부호만으로는 신뢰하기 어려운 가장 강력한 운율 조절 장치) 때문이며, 둘째는 페이지 전체를 다시 생성할 필요 없이 잘못된 한 줄만 다시 생성할 수 있기 때문입니다.

그 비용은 오디오의 이음새가 들리는 것인데, 이는 독립적으로 생성된 세그먼트(segment)들이 피치(pitch)와 에너지(energy) 면에서 어긋나기 때문입니다. 짧은 크로스페이드(crossfade)가 도움이 되며, 세그먼트를 연결하기 전에 각 세그먼트의 음량을 목표치에 맞추는 것이 더 효과적입니다. 마지막에 조립된 트랙을 정규화(Normalize)하세요. 음성 언어(spoken word)에는 약 -16 LUFS 정도가 적당합니다.

강조를 위해서, 만약 사용 중인 TTS가 참조 조건부 스타일(reference-conditioned style)을 지원한다면, 표현력이 풍부한 세그먼트를 위해 다른 참조 클립을 제공하세요. 화자는 동일하지만, 실제로 생동감 있게 말하는 샘플이어야 합니다. 일치하는 참조를 통한 스타일 전이(Style transfer)는 제가 시도해 본 그 어떤 SSML 태그보다 뛰어납니다.

동의는 공학적 제약 사항이다

음성 복제(Voice cloning)는 너무나 쉽게 오용될 수 있으며, "나중에 안전장치를 마련하겠다"는 계획이 될 수 없습니다. 설계 과정에서 최종적으로 반영된 제약 사항들은 다음과 같습니다:

• 샘플은 세션 중에 날짜를 포함한 구두 동의 문구와 함께 실시간으로 녹음됩니다. 업로드된 파일은 절대로 등록(enrollment) 소스로 사용될 수 없습니다. 이 규칙 하나만으로도 "YouTube 클립에서 목소리를 복제하는" 경로를 차단합니다.
• 화자 임베딩(speaker embedding)은 등록된 계정으로 범위가 제한되며 절대 전송할 수 없습니다.
• 등록을 삭제하면 원본 오디오뿐만 아니라 파생된 임베딩도 삭제됩니다. 중요한 것은 임베딩입니다.
• 합성은 책의 텍스트로 제한됩니다. 복제된 목소리로 임의의 입력을 읽어주는 자유 텍스트(free-text) 필드는 존재하지 않습니다.

마지막 항목은 구조적으로 중요합니다. "무엇이든 입력하면 이 목소리로 들려준다"는 기능을 노출하는 순간, 당신은 그림책의 탈을 쓴 사칭 도구를 만든 것이나 다름없습니다. 입력 도메인을 사용자가 저술 중인 책의 내용으로 제한하는 것이 이 기능을 방어 가능하게 만드는 핵심입니다. 녹음 게이트(recording gate), 주석이 달린 스크립트 합성(annotated-script synthesis), 동의 범위가 지정된 등록(consent-scoped enrollment) 등 이 모든 것을 하나로 엮어 지친 부모가 5분 안에 끝낼 수 있는 무언가로 만드는 것이 StoryMine 엔지니어링의 대부분이며, 동의 흐름(consent flow)을 구축하는 것이 오디오 파이프라인보다 더 어려웠습니다.

이에 맞춰 예산을 책정하세요. 복제에는 일주일, 운율(prosody)에는 한 달을 할애하고, 동의 모델은 사후에 끼워 맞추는 것이 아니라 첫날부터 설계해야 합니다.