Raw Waveform 음향 모델의 음성학적 오류 분석

우리는 TIMIT 음소 인식(phone recognition)에서 전체 음소 오류율(PER, Phone Error Rate)을 넘어 Raw Waveform 음향 모델의 오류 패턴을 분석합니다. PER은 세 가지 광범위한 음성 클래스(BPC, Broad Phonetic Class) 분류에 따라 분해되며, 대치 오류(substitution errors)로부터 혼동 행렬(confusion matrices)이 구축됩니다. 우리의 모델은 파라미터 기반(parametric, SincNet, Sinc2Net) 또는 비파라미터 기반(non-parametric) CNN을 양방향 LSTM(Bidirectional LSTMs)과 결합하여, Dev/Test 세트에서 각각 13.9%/15.3%의 PER을 달성하였으며, 이는 TIMIT 데이터셋에 대한 Raw Waveform 모델 중 보고된 최고 결과입니다. WSJ로부터의 전이 학습(Transfer learning)은 PER을 11.3%/12.3%로 낮추어 Filterbank 베이스라인(baseline)을 능가합니다. BPC별 분석 결과, BLSTM 레이어는 전이 의존적 클래스(transition-dependent classes)에서 가장 큰 이점을 얻는 반면, WSJ 전이 학습은 모음(vowels)보다 자음(consonants)을 약 3배 더 개선하는 것으로 나타났습니다. 혼동 패턴은 Raw Waveform 시스템과 Filterbank 시스템 전반에 걸쳐 일관되게 나타나며, 이는 주요 혼동이 내재적인 음성학적 유사성(phonetic similarities)을 반영함을 시사합니다.