Omni Voice가 현존하는 가장 빠르고 뛰어난 음성 복제 TTS이다. 내가 직접 모두 테스트해봤다.

이야기책(storybooks), 에이전트 등 수많은 활용 사례들이 있습니다. 하지만 저의 주요 목표는 Elevenlabs와 비교할 만한 최고의 음성 복제 옵션을 가진 TTS를 찾는 것이었습니다. 저는 특정 억양 처리 능력을 확인하기 위해 모든 TTS에 돌려보는 단축 목록의 목소리들을 가지고 있는데, 이것이 이 모델의 다재다능함을 보여주는 가장 좋은 방법이라고 생각합니다. 여러분도 이것들을 사용해 보시길 추천드리며, 어느 모델의 약점인지 금방 알게 될 것입니다. 테스트하기 좋은 억양을 가진 여배우로는 Rebecca Ferguson, Charlotte Rampling, Mariangela Melatto(이것은 '모델 파괴자'입니다), 그리고 Ornella Muti가 있습니다. 저는 또한 만화 캐릭터들의 일반적이거나 가짜 억양을 테스트하는 것도 좋아합니다. 제가 특히 애용하는 것은 Morgan Lofting의 Baroness 목소리입니다. 그녀의 억양은 특정 문화에 기반하지 않기 때문에, 모델들이 이를 배치하고 모방하는 데 어려움을 겪습니다. 남성 쪽에서는 Dune 속 Javier Bardem의 Stillgar나 Jeff Goldblum의 어떤 연기(영화 The Fly의 커피숍 장면 독백이 훌륭합니다)를 가져와서 모델의 역량을 평가할 수 있습니다. 저는 이 목소리들과 다른 목소리들을 Moss-TTS, Breeze-TTS, Chatterbox-TTS, VibeVoice, Fish Audio S2 Pro, 그리고 Omni Voice 같은 최고의 TTS 모델들에 돌려보았습니다. 그 모든 것 중에서 오직 Omni Voice만이 모든 억양 테스트를 통과했습니다. 대부분의 모델이 가장 어려워하는 두 가지 목소리인 Baroness와 Mariangela Melatto 모두 완벽하게 처리해냈습니다. 게다가, 저는 그것을 포함하지 않은 5초 샘플만 사용했음에도 불구하고, 특정 단어를 발음할 때 혀 떨림(trill of the tongue)까지 추가했다는 점이 놀라웠습니다. 또 저를 놀라게 한 것은 Fish Audio S2였습니다. 이 모델은 보통 '상위권' 오픈 소스 모델로 홍보되지만 테스트에서 실패했습니다. Omni Voice에 가장 근접했던 모델은 Breeze-TTS였는데(여전히 억양을 완전히 포착하지는 못했지만), 이는 Fish Audio보다 눈에 띄게 나았습니다. 다시 한번, 이것은 약간 충격적이었습니다.

하지만 Breeze의 일부 시도는 근접하게 느껴졌지만, 다른 시도들은 비슷한 억양("neighboring" accent)을 모방하여 비슷하게 만들었습니다. 예를 들어, Mariangela의 이탈리아 억양에 맞추기 위해 캐릭터에게 약간의 인도식 억양을 부여하는 식이라 확실한 일치는 아니었습니다. 그렇다고는 해도, 트릴(trill)이 포함되지 않은 5초 샘플에 트릴을 추가할 수 있는 유일한 다른 모델이었습니다. 억양을 정확하게 맞추는 것 외에도, OmniVoice가 현저하게 더 빠르게 오디오를 생성했습니다. 또한 여러 단락의 텍스트에 대한 원샷(one-shot) 성능도 더 좋았습니다. 다른 모델들은 오류가 나거나(glitched out), 일찍 끝나거나, 단순히 목소리를 맞추지 못했습니다. Omni Voice도 완벽하지는 않습니다. 모든 TTS와 마찬가지로 때때로 아티팩트(artifact)가 발생할 수 있습니다. 또한 감정/표현을 묘사할 때 다른 모델들만큼 많은 성능 옵션을 가지고 있다고 생각하지 않습니다. Breeze와 Fish는 더 명료하게 들렸고—Moss도 마찬가지지만 성능은 별로입니다—하지만 이들은 Omni가 가진 발음(enunciation)의 일부를 부족하게 느낍니다. Omni는 특히 억양에 있어서 더 나은 원샷 표현 품질을 보여줍니다. 첫 시도만으로 거의 사용 가능한 결과물을 많이 얻었습니다. 또 한 가지는, Omni가 원래의 판타지 용어와 개념을 가장 잘 발음한다는 것입니다. 저는 SF/판타지 작가인데, 단어가 아마도 들리는 방식대로 철자되지 않은 경우에도 제가 의도한 발음에 놀라울 정도로 근접하게 성공하는 경우가 많습니다. 저는 Omni가 90%의 확률로 성공한다고 말하고 싶습니다. 반면 다른 모델들은 성공률이 다양하지만 평균적으로 55~75% 정도에 머무르는 경향이 있습니다. 이것이 대규모 언어(large language) 지원 때문인지 궁금합니다. 그렇다고 해도 발음이 항상 일관적이지는 않지만, 보통 재시도(re-roll)를 통해 해결할 수 있습니다. 어쨌든 도움이 되었으면 좋겠습니다. Omni는 음성 복제 부문에서 경쟁자가 없으며, 현재 가지고 있는 모든 것을 유지하면서 더 다양한 성능과 더 선명한 오디오 품질을 추가하는 v2가 개발 중이기를 바랍니다.