BERTomelo: 당신의 포르투갈어 인코더 베스트 프렌드

인코더 (Encoders)는 여러 NLP 작업, 특히 깊은 문맥적 이해 (contextual understanding)를 요구하는 작업에서 최첨단 (state of the art) 기술이 되었습니다. 다국어 모델 (multilingual models)이 폭넓은 범위를 제공하지만, 특정 언어의 고유한 어휘적 및 통사적 뉘앙스를 포착하기 위해서는 전용 단일 언어 인코더 (monolingual encoders)가 필수적입니다. 그러나 포르투갈어의 경우, BERTimbau 및 Albertina와 같은 기존의 단일 언어 옵션들은 최근의 구조적 돌파구 (architectural breakthroughs)를 따라잡지 못했으며, 확장성 (scalability)과 효율성 (efficiency) 측면에서 영어 벤치마크 (English benchmarks)에 뒤처지는 경우가 많았습니다. 본 연구는 처음부터 사전 학습 (pre-trained from scratch)되었으며 포르투갈어에 특화되어 최적화된 차세대 단일 언어 인코더인 BERTomelo를 소개합니다. ModernBERT 아키텍처 (architecture)를 활용함으로써, BERTomelo는 이전 모델들의 한계를 극복하고 1,024-토큰 문맥 창 (context window)과 FlashAttention 및 교차 주의 메커니즘 (alternating attention mechanisms)과 같은 하드웨어 수준의 최적화를 갖춘 Base 및 Large 버전을 제공합니다. 이 모델은 1억 6백만 개의 문서로 구성된 방대하고 고품질인 포르투갈어 코퍼스 (corpus)인 ClassiCC-PT에서 학습되어, 언어의 현대적 사용법과 탁월한 정렬 (alignment)을 보장합니다. 결과에 따르면 BERTomelo는 이전의 포르투갈어 인코더들을 능가할 뿐만 아니라, STS 및 NER과 같은 다운스트림 작업 (downstream tasks)에서 거대 다국어 모델 (massive multilingual models)에 대한 더욱 강력하고 효율적인 대안을 제공합니다.