멀티태스크 학습은 충분하지 않다: 이중 출력 제2외국어 음성 인식에서의 표현 얽힘 (Representational Entanglement)

제2외국어 (L2) 음성 인식은 종종 발음과 의도된 의미에 대한 전사 (transcription)를 모두 필요로 합니다. 멀티태스크 학습 (Multi-task learning, MTL)은 공유된 표현 (shared representations)이 두 출력 모두에 이득을 준다고 가정하기 때문에 자연스러운 접근 방식입니다. 그러나 본 논문은 이러한 가정이 한국어와 영어에 걸쳐 성립하지 않음을 보여줍니다. MTL은 의미 (meaning)는 개선하지만 표면 전사 (surface transcription)는 저하시키며, 특히 영어의 경우 이러한 저하가 Levenshtein 편집 거리 (Levenshtein edit distance)로 측정된 표면-의미 간의 발산 (divergence)에 따라 규모가 커집니다. 인코더 (Encoder) 분석은 이러한 패턴을 인코더 수준의 얽힘 (entanglement)과 연결하며, 한국어는 별개의 태스크 표현을 유지하는 반면 영어는 거의 동일한 표현을 생성함을 보여줍니다. 태스크 간 디코더 (Cross-task decoder) 분석에 따르면, 의미 이중 출력 디코더 (meaning dual-output decoder)는 고유한 표현으로 적응하는 반면, 표면 이중 출력 디코더 (surface dual-output decoder)는 인코더에 의해 제약된 상태로 남아 있습니다. 이러한 발견은 이중 출력 L2 자동 음성 인식 (automatic speech recognition)에서 표면 저하를 줄이기 위해 인코더 수준의 얽힘을 완화하는 MTL 프레임워크 설계의 동기를 부여합니다.