개요
Audio8-TTS-Realistic-Air는 참조 음성 유무와 관계없이 음성 생성을 위한 Edge0의 0.6B 다국어 text-to-speech 모델입니다. 이 모델은 참조 오디오 및 해당 정확한 스크립트를 이용한 zero-shot 보이스 클로닝을 지원하며, 23개 언어를 지원합니다. Edge0에서 유지 관리하고 있습니다.
최적 사용 사례
나열된 23개 언어로 텍스트에서 음성을 생성하거나, 깨끗한 참조 녹음과 일치하는 스크립트를 사용하여 목소리를 클로닝할 수 있습니다. 또한 OpenAI와 호환되는 speech API를 통해 SGLang Omni 어댑터로 배포할 수도 있습니다.
제한 사항
언어 품질은 다양합니다. 보고된 error-rate 및 speaker-similarity 지표는 인식되는 현실성(perceived realism)이 아닌 명료도(intelligibility)와 유사성을 평가하며, 제공된 평가는 현실성을 직접적으로 정량화하지 않습니다. 런타임 검사는 BF16의 NVIDIA H20에서 수행되었으나, 처리량(throughput) 및 스트리밍은 벤치마킹되지 않았습니다. 이 모델은 커스텀 Transformers 코드를 사용하므로 로딩 시 trust_remote_code=True가 필요합니다.
; 활성화하기 전에 저장소 파일을 검토하십시오.
비교 분석
이전 Preview 릴리스와 비교했을 때, Realistic Air는 지원 언어가 12개 증가했습니다 (11개 대 23개). 보고된 Seed-TTS 종합 결과에서, 이 모델의 error rate는 Preview의 1.23% 대비 1.25%이며, SIM은 0.682 대비 0.704입니다. (두 릴리스는 별도로 평가되었습니다.) 공유되는 8개 언어 CV3 서브셋에서는 Realistic Air가 4.56%의 오류를 보고한 반면, Preview는 4.80%였습니다. 제공된 참고 비교 자료에 따르면, 서로 다른 평가 파이프라인과 텍스트 정규화 때문에 엄격하게 일치하는 순위 매김은 불가능합니다. 다른 Audio8 버전으로는 Audio8-TTS-Realistic-0.6b, Audio8-TTS-Preview-0.6b, 그리고 Audio8-TTS-Preview-0.1b가 포함되며, 제공된 증거는 해당 대안들의 상세한 기능 차이를 확립하지 못합니다.
기술 사양
DualAR 아키텍처: 느린 자기회귀 트랜스포머(slow autoregressive transformer)가 오디오 프레임당 하나의 의미론적 토큰을 예측하고; 빠른 자기회귀 트랜스포머(fast autoregressive transformer)는 느린 은닉 상태와 이전 코드북에 조건화된 코덱 코드북을 예측합니다. 주 모델은 별도로 번들링 된 코덱을 제외하고 601,159,424개의 파라미터를 가집니다. Slow AR은 24 레이어, 너비 896, 어텐션 헤드 14개, KV 헤드 2개를 사용합니다. Fast AR은 4 레이어, 너비 896, 어텐션 헤드 14개, KV 헤드 2개를 사용합니다. 오디오는 각각 4,096개의 엔트리를 가진 10개의 코드북을 사용합니다. 코덱은 44.1 kHz에서 작동하며 모델 프레임당 2,048 샘플(약 21.5 프레임/초)입니다. 컨텍스트는 최대 2,048 개의 패킹된 텍스트/오디오 위치까지 지원합니다. 저장소에는 체크포인트, 코덱, 토크나이저, 프로세서 및 사용자 정의 트랜스포머 코드가 포함되어 있습니다. Python 3.10 이상 버전과 CUDA를 지원하는 GPU가 권장됩니다. 런타임 스모크 테스트는 PyTorch 2.8.0, Transformers 4.57.3, 그리고 BF16을 사용하는 NVIDIA H20으로 사용되었습니다. 라이선스 메타데이터에는 Apache-2.0이 명시되어 있습니다.
모델 입력 및 출력
입력
텍스트는 리스트 형태로 프로세서에 전달됩니다. 음성 복제(voice cloning)의 경우, 참조 오디오와 발화 내용과 정확히 일치하는 스크립트를 제공해야 하며, 깨끗한 녹음이 권장됩니다. 참조가 필요 없는 생성(reference-free generation)은 텍스트만 있으면 됩니다. 예시에서는 max_new_tokens, temperature, top_p, top_k, 그리고 do_sample을 생성 제어 매개변수로 사용합니다. 지원되는 언어: 크안토니즈, 중국어, 네덜란드어, 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 한국어, 폴란드어, 스페인어, 아랍어, 핀란드어, 힌디어, 인도네시아어, 말레이어, 노르웨이어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 터키어, 베트남어.
출력
생성은 오디오 코드를 반환하며, 이 코드는 번들링된 코덱에 의해 파형으로 디코딩됩니다. 예시는 model.config.codec_sample_rate에서 WAV 파일을 작성합니다. SGLang Omni 어댑터는 비스트리밍(non-streaming) OpenAI 호환 /v1/audio/speech API, 참조가 필요 없는 생성, 그리고 제로샷 음성 복제(zero-shot voice cloning)를 지원합니다.
시작하기
import soundfile as sf
import torch
from transformers import AutoModel, AutoProcessor
...
자주 묻는 질문
Q: 참고 녹음 없이 음성 생성이 가능한가요?
A: 네. 프로세서에 reference-audio 또는 reference-transcript 필드 없이 텍스트를 전달한 다음, 동일한 생성 및 디코딩 단계를 사용합니다.
Q: 제로샷(zero-shot) 음성 복제에는 무엇이 필요한가요?
A: 깨끗한 참고 녹음과 그 안에서 말하는 내용과 정확히 일치하는 스크립트(transcript)를 제공해야 합니다.
Q: 몇 개의 언어를 지원하나요?
A: 이 모델은 이전 프리뷰(Preview) 릴리스 대비 12개가 추가되어 총 23개 언어를 지원한다고 명시하고 있습니다.
Q: 0.6B 파라미터 수에 코덱(codec)이 포함되나요?
A: 아니요. 601,159,424개의 파라미터 수는 메인 모델에 대한 것이며, 번들된 코덱은 별개입니다.
Q: 어떤 소프트웨어와 하드웨어가 권장되나요?
A: Python 3.10 이상 버전과 CUDA 지원 GPU가 권장됩니다. 문서화된 스모크 테스트(smoke test)에서는 NVIDIA H20에서 PyTorch 2.8.0, Transformers 4.57.3, 그리고 BF16을 사용했습니다.
Q: 평가가 향상된 인지적 사실성(perceived realism)을 입증하나요?
A: 아니요. 보고된 오류율(error-rate)과 화자 유사성(speaker-similarity) 지표는 인지적 사실성 자체를 측정하는 것이 아니라 명료도(intelligibility)와 유사성을 측정합니다.
Q: 스트리밍 성능이 문서화되어 있나요?
A: 아니요. SGLang Omni 런타임 검사는 비(non-)스트리밍 음성 API를 다루었으며, 처리량(throughput)과 스트리밍은 벤치마킹되지 않았습니다.
