WavCube: Unifying Speech Representation for Understanding and Generation via

요약

WavCube는 음성 이해(Understanding)와 생성(Generation)에 필요한 서로 다른 표현 간의 호환성 문제를 해결하기 위해 설계된 통합 음성 모델입니다. 이 모델은 자기 감시 학습(SSL)에서 파생된 컴팩트 연속 잠재 변수를 사용하여, 의미 정보와 세밀한 음향 디테일을 모두 포착합니다. WavCube는 두 단계 훈련 스키마를 통해 원시 SSL 특징의 결함을 보완하고, 높은 압축률에서도 기존 표현과 동등하거나 우수한 재구성 품질 및 TTS 성능을 달성하여 통합된 음성 시스템 구현에 기여합니다.

핵심 포인트

• WavCube는 이해(SSL 기반)와 생성(음향 디테일)의 분산된 특징 문제를 해결하는 통합 잠재 변수 표현입니다.
• 두 단계 훈련 스키마를 사용하며, 첫 단계에서 의미 병목 구조로 원시 SSL 특징을 정제하고, 두 번째 단계에서 재구성을 통해 음향 세부 사항을 주입합니다.
• 8배 차원 압축에도 불구하고 기존 음성 표현과 동등한 재구성 품질 및 시의존적 TTS 성능을 보여줍니다.
• SUPERB-SG 벤치마크 등 다양한 작업(음성 향상, 분리, 변환)에서 뛰어난 성능을 입증했습니다.