ClinicalEncoder26AM: 다국어 진단 가능 ColBERT 모델; MultiClinNER 공유 태스크를 통한 증거

ClinicalEncoder26AM은 임상 및 생물 의학(biomedical) 텍스트를 위한 다국어 진단 가능 ColBERT (Diagnosable ColBERT) 모델로, BioLORD-2023에서 영감을 얻고 합성 및 주석이 달린 감독(supervision)으로 강화된 임상 잠재 공간(clinical latent space)인 ClinicalMap25와 토큰 수준의 의미론(token-level semantic)을 다중 수준에서 정렬합니다. 사후 학습(post-training) 레시피는 BGE-M3를 기반으로 하며, 합성 임상 노트, 환자-의사 대화, 그리고 MedMentions와 같은 주석이 달린 리소스를 결합하는 동시에, ColBERT 스타일의 검색 목적 함수(retrieval objective)와 함께 멀티 어댑터 증류(multi-adapter distillation)에서 개체명 수준(named-entity-level) 및 문장 수준(sentence-level) 표현을 모두 고려합니다. 본 시스템 데모 논문에서는, 국소 경계 탐지(local boundary detection)를 개선하기 위해 경량화된 2층 CNN 헤드(two-layer CNN head)를 사용하여 환자의 증상, 질환 및 절차 범위를 위한 BIO 태거(BIO tagger)로 미세 조정(finetuning)함으로써 MultiClinNER 공유 태스크에서 모델을 평가합니다. 결과적으로 구축된 시스템은 단순함을 유지하며, 대부분의 문서를 단일 8192-토큰 윈도우(token window) 내에서 처리하고, 최첨단(state-of-the-art) 다국어 개체 재현율(entity recall)을 달성하는 동시에, 문자 가중 F1 점수(Character-weighted F1 scores)에서 모든 개체 유형과 언어에 대해 전체 Top 5를 기록했습니다. 학습 곡선(Training curves)은 ClinicalEncoder26AM이 기본 M3 모델보다 현저히 더 데이터 효율적임을 보여주며, 이는 다운스트림 정보 추출(information extraction)을 위한 임상 사후 학습의 유용성을 뒷받침합니다. 모델은 https://huggingface.co/Parallia/ClinicalEncoder26AM-Diagnosable-Colbert-L2-for-multilingual-medical-texts 에서 다운로드할 수 있습니다.