Morpheus: 터키어를 위한 형태소 인식 신경망 토크나이저 및 워드 임베더

요약

교착어인 터키어의 특성을 반영하여 형태소 경계를 인식하는 신경망 토크나이저 및 임베더인 Morpheus를 제안합니다. 이 모델은 손실 없는 토큰화와 효율적인 워드 임베딩 생성을 동시에 수행하며, 기존 서브워드 방식보다 높은 형태소 정렬 성능과 낮은 메모리 사용량을 보여줍니다.

핵심 포인트

• 교착어 특성에 최적화된 손실 없는 형태소 인식 토크나이저 개발
• 기존 서브워드 방식 대비 약 2배 높은 형태소 정렬 성능 달성
• GPU 메모리 사용량을 기존 64K 어휘집 모델 대비 약 19% 절감
• BGE-M3 및 BERTurk를 능가하는 어휘 검색 및 어근 검증 성능
• 미분 가능한 동적 계획법을 통한 효율적인 경계 확률 계산