TTS-PRISM: 세밀한 진단을 위한 지각적 추론 및 해석 가능한 음성 모델

요약

TTS-PRISM은 생성형 텍스트-투-스피치(TTS) 모델의 세밀한 음향 결함을 진단하고 지각적 성능을 해석하기 위해 설계된 다차원 진단 프레임워크입니다. 이 프레임워크는 안정성부터 고급 표현력까지 아우르는 12차원 스키마를 구축하고, 적대적 교란 및 전문가 앵커를 활용하여 고품질의 진단 데이터셋을 생성합니다. 실험 결과, TTS-PRISM은 일반적인 모델보다 인간 정렬 측면에서 우수한 성능을 보이며, 다양한 TTS 패러다임에 대한 직관적인 진단 플래그를 제공합니다.

핵심 포인트

• TTS-PRISM은 단순한 평가 지표를 넘어선 다차원적이고 해석 가능한 음성 모델 진단 프레임워크이다.
• 12차원 스키마와 적대적 교란을 활용하여 TTS 모델의 세밀한 결함(음향, 표현력 등)을 체계적으로 분석한다.
• 지시 학습(instruction tuning)을 통해 복잡한 진단 기준과 추론 과정을 효율적인 엔드투엔드 모델에 통합했다.
• 실험 결과, TTS-PRISM은 다양한 TTS 패러다임에서 일반화된 평가보다 우수한 인간 정렬 성능을 입증했다.