데이터 효율적인 비언어적 텍스트-음성 변환을 위한 교차 토큰 전이 체계적 연구
요약
본 연구는 비언어적 발화(NVs) 데이터 부족 문제를 해결하기 위해 교차 토큰 전이 가능성을 체계적으로 조사했습니다. CosyVoice 2 환경에서 웃음과 기침 등의 NVs를 조합하여 학습시킨 결과, 적은 양의 NV 예시만으로도 높은 성능 향상을 입증했습니다. 이는 저자원 NV 생성에 상호보완적인 방법을 제시합니다.
핵심 포인트
- 비언어적 발화(NVs)는 감정적 단서 전달에 중요하나 데이터가 부족함.
- 웃음 예시만으로 기침 학습 시 종단 간 F1 점수가 크게 상승하는 것을 확인했습니다.
- 교차 토큰 전이는 저자원 NV 생성에 효과적인 상호보완 경로를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기