본 논문에서는 현재 사실상의 표준(de facto) 베트남어 텍스트 인코더인 PhoBERT의 주요 한계점을 해결하는 베트남어용 새로운 BERT 기반 사전 학습 언어 모델(pre-trained language model)인 BamiBERT를 소개합니다. 129GB 규모의 일반 도메인 베트남어 코퍼스(corpus)를 사용하여 20 에포크(epochs) 동안 처음부터 학습된 BamiBERT는 최대 2048 토큰(tokens)까지 확장된 컨텍스트 길이(context length)를 지원하며, 외부 단어 분절(word segmentation)의 필요성 없이 원시 입력(raw input)에서 직접 작동합니다. 8개의 베트남어 벤치마크(benchmarks) 전반에 걸쳐, BamiBERT는 15개 지표 중 11개에서 최고 점수를 기록하고 나머지 3개에서 두 번째로 높은 점수를 기록하며, "base" 크기의 베트남어 인코더들 사이에서 새로운 SOTA(state of the art)를 설정하고 강력한 교차 도메인 일반화(cross-domain generalization) 능력을 입증했습니다. BamiBERT는 다음 링크에서 공개됩니다: https://huggingface.co/Qualcomm-AI-Research/BamiBERT