Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
Fish Audio와 ElevenLabs를 비교하며 음성 복제 및 TTS 성능을 심층 분석했습니다. 스톡 보이스의 경우 ElevenLabs가 더 자연스러운 감정 표현과 인간적인 느낌을 제공했지만, 즉석 클로닝에서는 Fish Audio가 화자의 고유한 억양과 정체성을 유지하는 데 강점을 보여주었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기만약 Fish Audio와 ElevenLabs 중 하나를 선택해야 한다면, 그 답은 어떤 목소리가 필요한지에 따라 달라집니다. 스톡 보이스(stock voices)의 경우, ElevenLabs가 더 인간적인 느낌을 주었고 감정 표현 지시를 더 잘 처리했으며 약속 메시지를 정확하게 읽어주었습니다. 반면 Fish는 'R1,249.50'이라는 금액을 백만 달러 이상으로 변환하는 데 어려움을 겪었습니다. 짧은 샘플로 자신의 목소리를 복제할 때는 Fish가 저와 매우 유사한 음성을 구현했지만, ElevenLabs의 클론이 더 깨끗하게 녹음된 결과물이었습니다.
저는 동일한 스크립트를 사용하고 각각 한 번씩 테스트하여, 2026년 10월 13일에 출시된 Fish Audio Drama 3과 Eleven v4를 비교했습니다. 또한 양쪽 모두에 제 목소리를 클론화하는 작업도 진행했습니다. 모든 클립 링크는 아래에 있으니 직접 차이점을 들어보실 수 있습니다. 어느 쪽의 즉석 클론도 제 목소리를 아는 사람을 설득하기는 어려웠으므로, 만약 클로닝(cloning) 때문에 이 글을 읽고 계신다면 그 점을 염두에 두고 해당 섹션을 읽어주세요.
| 테스트 | 우승자 | 한 줄 요약 이유 |
|---|---|---|
| 즉석 음성 클로닝: 유사성 | Fish Audio | 제 억양과 톤에 훨씬 가깝고, 분위기가 바뀔 때도 저의 정체성을 유지함 |
| ... |
[whispers]는 ElevenLabs에서, [whispering]은 Fish에서; [laughs]는 ElevenLabs에서, [laughing]은 Fish에서)을 사용하여 지시 스크립트를 작성했으며, 모두에게 [excited]와 [pause]를 사용했습니다.테스트 내용: 각 도구가 약 30초 분량의 오디오만으로 저의 목소리를 얼마나 잘 구현할 수 있는지, 그리고 일상적인 상황에서 안도하는 느낌으로 감정이 변할 때도 꾸준히 제 목소리처럼 들리는지를 테스트합니다. 저는 남아프리카 공화국 출신이라 억양 변화(accent drift)를 듣기 쉽습니다.
두 도구 모두 동일한 파일을 업로드했습니다. ElevenLabs는 최소 10초 분량을 요구하며 최고의 품질을 위해서는 3분 분량을 권장합니다. Fish Audio 역시 10초 분량을 요청하지만, 대부분의 목소리에는 약 30초면 충분하다고 표시합니다. 제 녹음본은 ElevenLabs가 권장하는 시간보다 훨씬 짧기 때문에, 이번 테스트는 제한된 오디오로 빠르게 클론을 만드는 것에 초점을 맞춘 테스트로 간주해 주십시오.
두 클론 모두 동일한 새로운 구절을 읽었습니다. 일상적인 심부름으로 시작하여 좋은 소식으로 끝납니다.
I left my keys next to the kettle again. If you're heading out, could you check whether the back door is locked? I should be home before the rain starts. Oh, and the good news: they finally approved the project! I can stop refreshing my inbox every five minutes. Let's get dinner somewhere nice tonight.
듣기: 즉시 음성 복제(Instant voice cloning)
동일한 깨끗한 33.94초 분량의 제 목소리 녹음, 동일한 출력 텍스트
유사성 면에서는 Fish가 우세했습니다. 클론이 제 억양과 톤에 훨씬 가깝습니다. 미국식 억양이 약간 느껴지고 전달 방식이 다소 느릿하지만, 표정이 변하는 와중에도 알아볼 수 있는 저의 목소리로 유지되었습니다. 또한, 마치 누군가 텍스트를 읽는 것처럼 들리기도 했는데, 이는 참고 자료 자체가 제가 휴대폰으로 읽은 것이었기 때문에 당연한 부분이라고 생각합니다.
ElevenLabs는 더 선명하고 표현이 더 뚜렷하게 느껴졌습니다. 하지만 "드디어 프로젝트가 승인되었다!"라는 문장에서는 다른 사람의 목소리처럼 들렸습니다. Fish는 그 문장을 흥분보다는 안도감으로 전달했는데, 이는 받은 편지함을 계속 새로고침하는 것을 마침내 멈출 수 있는 사람에게 어울린다고 생각하며, 이 과정에서 저의 정체성을 더 많이 유지했습니다.
ElevenLabs에 비해 Fish 클립은 약간 건조하게 느껴졌지만, 그 대신 제 목소리처럼 들리는 것에 만족합니다. 제게는 ElevenLabs 클론이 마치 제 목소리를 더 일반적인 무언가로 일반화한 것처럼 들렸습니다. 이것은 듣기상의 인상일 뿐이며, 실제로 백그라운드에서 무슨 일이 일어나고 있는지 확인할 수는 없습니다.
만약 이 클론들 중 하나를 사용해야 한다면 Fish를 선택할 것입니다. 두 서비스 모두 제 목소리를 아는 사람이 저라고 확실히 믿을 만큼 충분하지는 않으며, 억양 차이가 여전히 들리기 때문입니다. Fish의 Professional Voice Cloning이 더 잘 작동할 것이라 예상했지만, 테스트해보지는 않았습니다.
ElevenLabs에서는 녹음을 업로드하고 미리 듣기를 하며 제 목소리에서 추론된 라벨들을 확인할 수 있었습니다. 저는 그것이 좋았고, 그 라벨들이 정확하다고 생각했습니다.
그런 다음 **음성 저장(Save voice)**을 클릭했는데 결제 장벽에 부딪혔습니다. 즉시 클로닝은 최소한 Starter 플랜이 필요하며, 흐름의 어느 단계에서도 이 점이 저에게 명확하게 전달되지 않았습니다. 저는 목소리를 업로드하고 설정을 진행하기 전에 이런 사실을 아는 편이 낫겠습니다.
Fish에서는 무료로 클론을 만들 수 있었지만, 공개 음성으로만 가능했다. 비공개로 설정하려면 유료 플랜이 필요하다. 테스트 후 공개된 Fish 클론과 임시 ElevenLabs 클론을 삭제했다. 삭제하면 목록에서 해당 음성이 제거되지만, Fish의 약관에는 공개적으로 제출된 콘텐츠에 대한 라이선스가 포함되어 있으므로, 공개 클론을 삭제한다고 모든 것이 취소된다고 가정해서는 안 된다.
본인이 소유했거나 사용 권한이 있는 음성만 클론화하라.
테스트 내용: 각 음성이 스크립트에서 스스로 감정을 찾아내는지, 그리고 지시 사항을 얼마나 잘 따르는지를 테스트한다. 이 스크립트는 직장에서 좋은 소식을 듣고 나서 아직 공개되지 않았다는 것을 깨닫는 상황이다.
아무에게도 말할 생각이 아니었어. 우리 리스본 프로젝트를 따냈어! 믿기 전에 이메일을 세 번이나 읽었지. 어쨌든, 아직 누구에게도 말하지 마. 금요일까지는 공식적이지 않아. 그렇지? 이제 나는 바보처럼 웃지 않으면서 팀원들에게 어떻게 말을 건넬지 알아내야 해.
듣기: 자연스러운 읽기
태그가 없는 일반 텍스트다. 음성이 흥분과 일시 정지(pause)를 추론하는가?
나에게는 ElevenLabs가 더 인간적으로 들렸다. 0:02 지점에서 "우리가 리스본 프로젝트를 따냈어!"에 흥분을 담아내고, "Right." 주변의 일시 정지는 생각이 정리되는 듯한 느낌을 준다.
Fish도 감정을 추론했다. 0:07 지점에서 이메일을 읽은 빈도를 강조하기 위해 "세 번이나"에서 속도를 늦추는 것이 좋은 터치였다. 둘 다 "바보처럼 웃지 않으면서"를 잘 처리했다. 문제는 음성 자체였는데, 나에게는 구형 AI TTS(Text-to-Speech)를 연상시켜 감정 표현이 덜 설득력이었다.
그 평가는 이 두 가지 기본 음성에 대한 것이며, 다른 Fish 음성이라면 달라질 수 있다. 나는 현재 상태 그대로의 ElevenLabs 버전을 사용할 것이다.
지시적 버전은 동일한 단어를 유지하면서 태그를 추가합니다. 다음이 ElevenLabs의 스크립트입니다:
[속삭임] 아무에게도 말할 생각이 아니었어. [흥분] 우리 리스본 프로젝트를 따냈어! 믿기 전까지 이메일을 세 번이나 읽었지. [속삭임] 어쨌든, 아직은 누구에게도 말하지 마. 금요일이 되어서야 공식적으로 발표되는 거야. [일시 정지] 그래. [웃음] 이제 내가 어떻게 팀원들에게 바보처럼 싱글벙글 웃는 모습 없이 이 사실을 전할지만 생각하면 돼.
Fish Audio는 [whispers]와 [laughs] 대신 [whispering]과 [laughing]이 적용된 동일한 스크립트를 사용했습니다.
들어보기: 지시적 낭독
속삭임, 흥분, 일시 정지, 웃음 등 모든 요소가 양쪽 모두에서 같은 위치에 나타납니다.
지시적 낭독은 두 도구 모두를 더 표현력이 풍부하고 인간적으로 만들었지만, ElevenLabs가 여전히 더 나았습니다. 0:04 지점에서 이전 문장의 흥분을 유지한 채 다음 문장으로 속도를 높이며, 마치 한 사람이 생각을 이어가는 것처럼 들립니다. 웃음소리 또한 대화에 잘 어울립니다.
Fish Audio는 마치 각 문장에 고유의 감정이 부여되어 그것을 문자 그대로 따라 하는 것 같았습니다. 0:10 지점에서 속삭임으로 전환되는 것이 갑작스럽고 약간 부자연스러우며, 어떤 표현이든 속도가 동일하게 유지됩니다. 웃음소리는 명령받았기 때문에 웃는 것처럼 들립니다. 저는 두 도구 모두가 태그를 소리 내어 읽거나 건너뛰는 것을 듣지 못했으며, ElevenLabs의 지시적 낭독본을 사용하겠습니다.
이것이 테스트하는 내용: 병원에서 보낼 수 있는 예약 메시지의 종류입니다. 여기에는 이름, 날짜, 시간, 통화 금액, 예약 참조 번호, 전화번호, 네트워크 주파수가 포함되어 있으며 양쪽에 태그가 없습니다.
안녕하세요, Nkosi 박사 사무실입니다. 예약은 2026년 4월 3일 14시 45분입니다. 총 금액은 R1,249.50입니다. 예약 참조 번호는 A-7419-X입니다. 변경이 필요하면 0800 555 0147로 전화 주십시오. 화상 진료의 경우, 다른 연결이 끊어지면 2.4 GHz 네트워크를 사용해 주십시오. 감사합니다. 금요일에 뵙겠습니다.
청취 비교: 이름 및 숫자
항목, 날짜, 시간, 랜드 금액(rand amount), 예약 참조 번호, 전화번호, 주파수
ElevenLabs는 R1,249.50을 랜드(rand)로 인식하고 금액과 센트를 정확하게 읽었습니다. Fish Audio가 이 테스트에서 가장 심각한 오류를 범했습니다. 제가 들은 내용은 'R 백이십사만 구십 달러 오십 센트'였는데, 이는 금액의 규모와 통화 모두를 잘못 이해한 것입니다. 고객에게 지불해야 할 금액을 알려주는 모든 상황에서는 이를 심각한 오류로 간주할 것입니다.
| 항목 | ElevenLabs | Fish Audio |
|---|---|---|
Dr. Nkosi | 제 귀에는 정확하며, 'o' 발음이 'aw'처럼 들림 | 인식은 되지만, 'o' 발음이 'ow'처럼 들림 |
| ... | ||
| 두 서비스 모두 14:45와 2.4 GHz를 정확하게 읽었습니다. |
예약 참조 번호에 구어적 구분 기호를 넣는 것은 사람이 다시 읽어야 할 때 도움이 되는데, 이는 부분이 어디서 끊기는지 표시해 주기 때문입니다. 전화번호는 취향의 문제에 가깝습니다. Fish Audio가 숫자는 맞게 읽었지만 '오(oh)'와 '제로(zero)'를 섞어 발음하는 것이 어색하게 들렸기 때문입니다. ElevenLabs에게 바라는 점은 0800을 '오-에이트-헌드레드'로 읽는 것입니다. 이는 제가 [Gemini 대 ElevenLabs 비교]에서 Gemini가 읽었던 방식입니다.
ElevenLabs가 압도적으로 승리했으며, 단락의 마무리 역시 더 자연스러웠습니다. 제가 사용하려면 훨씬 적은 편집만 거치면 될 정도입니다. 저는 Fish Audio의 읽는 것을 교정하려고 시도하지 않았습니다.
