BamiBERT: 베트남어를 위한 새로운 BERT 기반 언어 모델

요약

베트남어 텍스트 인코더의 한계를 극복하기 위해 개발된 새로운 BERT 기반 언어 모델 BamiBERT를 소개합니다. 129GB 규모의 코퍼스로 학습되었으며, 확장된 컨텍스트 길이와 외부 단어 분절 없는 원시 입력 처리 능력을 갖추고 있습니다.

핵심 포인트

• PhoBERT의 한계를 해결하는 새로운 베트남어 SOTA 모델
• 최대 2048 토큰의 확장된 컨텍스트 길이 지원
• 외부 단어 분절 없이 원시 입력에서 직접 작동 가능
• 8개 벤치마크 중 11개 지표에서 최고 성능 기록
• 강력한 교차 도메인 일반화 능력 입증