L2 발화 비교를 위한 자기 지도 음성 임베딩 활용 방안
요약
본 연구는 L2(제2언어) 발화 평가의 한계점을 극복하기 위해 자기 지도 WavLM 표현을 활용한 텍스트 프리 프레임워크를 제안합니다. 이 방법은 DTW 기반으로 영어와 일본어 L2 발화를 음소적 정확도, 리듬, 억양 등 다각적으로 평가할 수 있음을 보여주었습니다.
핵심 포인트
- 자기 지도 WavLM 표현을 활용하여 L2 발화 평가의 새로운 방법을 제시함.
- DTW 기반 접근 방식이 음소적 채점에서 인간 합의 수준을 능가하는 성능을 보임.
- 리듬 평가는 최적 방법으로 인간 수준에 근접한 성능을 달성했음.
- 본 연구는 다각적인 발음 평가를 위한 유망하고 텍스트 프리 기반임을 시사함.
L2(제2언어) 발화 평가는 전통적으로 음소적 평가에 초점을 맞추었으며, 리듬이나 억양과 같은 초분절적 특징의 채점은 충분히 탐구되지 못했습니다. 더욱이, 평가 방법들은 종종 레이블링된 L2 발화 데이터를 이용한 학습을 요구하여 저자원 환경(low-resource settings)에 적용하기 어렵습니다. 본 연구에서는 자기 지도 WavLM 표현(self-supervised WavLM representations)을 활용한 DTW(Dynamic Time Warping)가 영어와 일본어 L2 발화의 음소적 정확도, 리듬, 억양 평가를 위한 텍스트 프리(text-free) 프레임워크를 제공할 수 있는지 조사했습니다. 그 결과, 학습자의 발화를 원어민 템플릿과 비교하는 기본적인 DTW 기반 접근 방식이 전체적인 수준 및 문장 단위의 음소적 채점에서 인간의 합의 수준을 능가함을 보여주었습니다. 리듬의 경우, DTW 정렬 경로에서의 왜곡 정도를 측정하는 방법을 도입했으며, 저희의 최적 방법은 인간 수준의 성능에 근접했습니다. 억양의 경우, 운율 잔차(prosodic residuals)에 대한 DTW 거리와 피치 및 강도 특징을 결합했지만, 일부 작업에서는 성능이 비교적 미진하게 유지되었습니다. 본 연구 결과는 자기 지도 표현이 다각적인 발음 평가를 위한 유망하고 텍스트 프리 기반임을 시사합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기