CTC 오라클 갭(Oracle Gap)의 해부: 음향적 고갈과 언어적 회복

우리는 N-best 가설 선택을 위한 CTC 내부 점수 산정(CTC-internal scoring)의 한계를 연구하며, 음향적 신뢰도(acoustic confidence)와 언어적 타당성(linguistic plausibility)을 분리하는 정보 병목(information bottleneck)의 위치를 찾아냅니다. 11가지 CTC 내부 및 음향 특징 점수 산정 전략은 G=16인 LibriSpeech dev-other 데이터셋에서 탐욕적 디코딩(greedy decoding) 대비 통계적으로 유의미한 WER(Word Error Rate) 개선을 보여주지 못했습니다 (모든 p > 0.05). 이러한 고갈은 체계적입니다. 가설 점수와 발화당 WER 사이의 CTC Spearman $ρ$ 값은 G=4에서 -0.574였으나 G=128에서는 -0.270으로 저하되었으며, 이는 blank-path의 급증으로 인한 53%의 손실입니다. 이는 CTC 내부 표현의 판별 능력(discriminative capacity)이 포화되었음을 입증합니다. 즉, 음향 신호를 어떻게 재조합하더라도 오라클 갭(oracle gap)을 메울 수 없습니다. 병목 현상이 음향이 아닌 언어적 측면에 있다는 것을 확인하기 위해, MBR(Minimum Bayes Risk) 디코딩을 통해 외부 언어 정보를 도입하자 이를 돌파할 수 있었습니다. RoBERTa 의사 로그 가능도(pseudo-log-likelihood, PLL) 사후 확률($τ$=10, G=128)을 사용한 MBR-CER 디코딩은 LibriSpeech test-other 홀드아웃 데이터에서 5.42%의 WER을 달성했습니다 (탐욕적 디코딩 5.96%, $Δ$=-0.535 pp, p<0.0001, 상대적 9.0% 개선). RoBERTa PLL $ρ$는 동일한 범위에서 단 21%만 저하되어, CTC가 능력을 상실하는 지점에서도 판별력을 유지했습니다. 재학습 없이 두 가지 Zipformer 아키텍처, 세 가지 도메인(LibriSpeech, TED-LIUM 3, VoxPopuli), 그리고 네 가지 MUSAN 노이즈 수준에 적용했을 때, 이 방식은 13개 조건 중 11개에서 유의미한 이득을 제공했습니다. 학습 측면에서는 CTC 순방향-역방향(forward-backward) 알고리즘을 통한 표준 MWER(Minimum Word Error Rate) 학습이 출력 투영(output projection)에서 Rao-Blackwellized REINFORCE를 구현합니다 (분산이 Viterbi 대비 약 3배 낮음). 그러나 시퀀스 수준의 미세 조정(fine-tuning)은 수렴에 가까운 체크포인트에서 실패합니다. CR-CTC의 네 가지 MWER 구성 모두에서 성능이 붕괴되었으며(+6.18 ~ +8.90 pp WER), 이는 0.007 pp의 학습 오라클 갭이 사용할 만한 보상 신호(reward signal)를 제공하지 못하기 때문입니다.