단어와 길: 독일어 의료 NLP를 위한 도메인 특화 BERT 사전 학습 전략

디지털 헬스케어는 AI 지원 애플리케이션을 뒷받침할 수 있는 방대한 양의 임상 텍스트를 생성하지만, 독일어 생물 의학 언어 모델은 오래된 아키텍처(architectures)나 제한된 학습 데이터로 인해 여전히 한계가 있습니다. 본 논문에서는 과학 출판물, 임상 텍스트, 건강 관련 웹 콘텐츠 및 번역된 임상 리소스로 구성된 13.5GB 코퍼스(corpus)로 학습된 도메인 특화 독일어 RoBERTa 기반 언어 모델 제품군인 ChristBERT (Clinical- and Healthcare-Related Issues and Subjects Tuned BERT)를 제시합니다. 독일어 임상 NLP에서 도메인 적응(domain adaptation) 전략의 영향을 조사하기 위해, 우리는 지속적 사전 학습 (continued pre-training), 처음부터 학습 (training from scratch), 그리고 도메인 특화 어휘 적응 (domain-specific vocabulary adaptation)을 비교합니다. 결과 모델은 세 가지 의료 개체명 인식 (NER, named entity recognition) 작업과 두 가지 텍스트 분류 (text classification) 작업에서 평가되었습니다. ChristBERT는 5개의 벤치마크 중 4개에서 기존의 범용 및 독일어 의료 언어 모델을 일관되게 능가하며, 독일어 임상 언어 모델링의 새로운 SOTA (state of the art)를 구축했습니다. 우리의 연구 결과는 최적의 적응 전략이 작업에 따라 달라짐을 보여줍니다. 평가 결과, 처음부터 학습하는 방식은 매우 전문화된 임상 텍스트에 특히 효과적인 반면, 지속적 사전 학습은 보다 일반적으로 작성된 의료 텍스트에서 좋은 성능을 보였습니다. 모든 모델은 독일어 의료 NLP 분야의 향후 연구와 애플리케이션을 지원하기 위해 공개적으로 출시되었습니다.