Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 대규모 다국어 모델의 높은 배포 비용 문제를 해결하기 위해, 원시 텍스트에서 작동하는 간결한 베트남어 인코더 패밀리인 GoiBERT를 제안합니다. GoiBERT는 두 개의 교사(teacher)로부터 지식을 증류하여 학습되었으며, 다양한 NLP 작업에서 강력한 성능을 입증했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기베트남어 사전 학습 인코더는 급속도로 발전해 왔지만, 가장 강력한 모델들은 대규모의 다국어 어휘 모델이거나 외부 단어 분할에 의존하여 배포 비용이 많이 듭니다. 우리는 원시 텍스트(raw text)에서 직접 작동하는 두 가지 간결한 베트남어 인코더 패밀리인 GoiBERT를 소개합니다. 이 모델들은 각각 26M 및 49M의 파라미터를 가집니다. GoiBERT는 두 개의 보완적인 교사로부터 학습합니다. 첫 번째는 동일 토크나이저(same-tokenizer) 베트남어 인코더로, 일반 목적 표현을 가르칩니다. 그리고 훨씬 더 큰 교사는 자체 훈련 데이터에 레이블링하는 과정 없이 생성된 소프트 라벨(soft labels)을 통해 작업 수준의 지도를 제공합니다. 텍스트 분류, 측면 기반 감성 분석, 자연어 추론, 개체명 인식 등을 포괄하는 여덟 가지 벤치마크 전반에서, GoiBERT-large는 비교 교사 모델 중 가장 높은 평균 점수를 달성했습니다. 이는 가장 강력한 간결한 기준선(compact baseline)의 절반 미만의 파라미터로, 그 두 배에 달하는 처리량으로 이루어낸 것입니다. GoiBERT-base는 해당 기준선의 성능을 99% 유지하면서 크기는 1/4 수준입니다. 우리의 분석 결과, 압축은 감성 및 분류 작업에서는 거의 손실이 없지만, 추론(inference) 및 개체명 인식에서는 여전히 비용이 많이 드는 것으로 나타났으며, 이는 향후 연구 방향에 대한 명확한 지점을 제시합니다. 우리의 코드와 모델은 다음에서 이용 가능합니다: https://github.com/Nhantran65/GoiBERT.git