Linear Semantic Segmentation for Low-Resource Spoken Dialects

요약

기존 의미 분할 모델들은 주로 고자본 텍스트 자료에 기반하여 개발되어, 비공식적 문법이나 코드스위칭이 특징인 저자본 구어체 변이에 적용하는 데 한계가 있습니다. 본 논문은 일상 통화, 팟캐스트 등 다양한 장르의 아랍어 대화형 데이터를 포함한 새로운 다중 장르 벤치마크를 제시합니다. 이를 통해 MSA(Modern Standard Arabic) 뉴스에서 잘 작동하던 모델이 방언 음성에서는 성능 저하를 보임을 입증하고, 지역적 의미 일관성과 담론 불연속성에 강건한 새로운 분할 모델을 제안하여 그 우수성을 입증했습니다.

핵심 포인트

• 기존의 의미 분할(Semantic Segmentation) 모델은 고자본 텍스트 데이터에 의존하여 저자본 구어체 변수에 취약하다.
• 새로운 다중 장르 아랍어 대화형 벤치마크(1000개 이상 샘플)를 구축하여, 일상 통화, 코드스위칭 등 다양한 비공식적 담론 구조를 포괄한다.
• MSA 뉴스에서 높은 성능을 보이던 모델도 방언 음성 데이터에서는 성능 저하가 발생함을 확인했다.
• 지역적 의미 일관성과 담론 불연속성에 강건한 새로운 분할 모델을 제안했으며, 이는 비뉴스 장르의 방언 데이터에서 강력한 베이스라인을 능가한다.