토크나이저 이식(Transplantation): 효율적인 벵골어 음성 인식에서 자기회귀적 붕괴 완화

요약

본 연구는 영어 중심의 바이트 레벨 토크나이저가 벵골어와 같은 형태론적으로 풍부한 언어에서 자기회귀적 붕괴를 유발하는 문제를 분석했습니다. 이를 해결하기 위해 네이티브 스크립트 기반의 BanglaBERT WordPiece 어휘집을 이식하고 임베딩 행렬 크기를 조정하는 새로운 파이프라인을 제안합니다. 그 결과, WER과 RTF 측면에서 높은 성능 개선을 입증하며 크로스 스크립트 적응에 활용 가능한 청사진을 제시했습니다.

핵심 포인트

• 영어 중심 토크나이저가 벵골어 등 비라틴어 언어에서 붕괴 유발
• BanglaBERT WordPiece 어휘집 이식으로 문제 해결 시도
• 자기회귀적 붕괴 완화 및 WER/RTF 성능 개선 입증
• 자원 집약적 사전 학습 없이 크로스 스크립트 적응 가능