임상 서술로부터의 신뢰할 수 있는 다국어 정형외과 의사결정 지원: 언어 인지 적응 및 검증 가이드 기반 유보 (Deferral)
요약
저자원 의료 환경에서 영어, 힌디어, 펀자브어 임상 노트를 분류하기 위한 신뢰성 중심의 다국어 프레임워크를 제안합니다. IndicBERT-HPA 모델과 선택적 검증 계층을 통해 언어적 불안정성을 극복하고 높은 정확도와 신뢰도를 달성했습니다.
핵심 포인트
- IndicBERT-HPA 모델이 다국어 임상 데이터에서 가장 강력한 성능을 보임
- 제로샷 LLM은 폐쇄 집합 분류에서 언어 의존적 불안정성을 나타냄
- 신뢰도 게이팅 및 증거 일관성 확인을 통한 선택적 검증 계층 구현
- 명시적 유보(Explicit Deferral)를 통한 의사결정 지원의 신뢰성 확보
임상 서술(clinical narratives)에 전문 용어, 혼합 스크립트(mixed scripts), 불완전한 증거, 레이블 불균형(label imbalance) 및 언어 의존적 기록 패턴이 포함된 저자원 의료 환경에서는 다국어 정형외과 의사결정 지원이 여전히 어려운 과제로 남아 있습니다. 본 논문은 영어, 힌디어(Hindi), 펀자브어(Punjabi)로 작성된 자유 형식의 정형외과 노트(free-text orthopedic notes)를 분류하기 위한 신뢰성 중심의 프레임워크를 제시합니다. 우리는 작업 정렬형 다국어 트랜스포머 인코더(task-aligned multilingual transformer encoders), 작업 미세 조정된(task-fine-tuned) DistilBERT 베이스라인, 제로샷 지시어 튜닝된 대규모 언어 모델(LLMs), 그리고 도메인 적응형 인코더인 IndicBERT-HPA를 비교합니다. IndicBERT-HPA는 임상적으로 관련 있는 다국어 표현 학습(multilingual representation learning)을 지원하기 위해 언어 인지적 정형외과 어댑터 헤드(language-aware orthopedic adapter heads)를 IndicBERT에 추가하여 강화한 모델입니다. 평가는 전체 정확도(aggregate accuracy)를 넘어 클래스별 성능, ROC-AUC, AUPRC, 기대 교정 오차(expected calibration error), 교차 언어 안정성(cross-language stability), 그리고 통제된 균형 분포 및 자연 유병률(natural-prevalence) 분포 하에서의 강건성(robustness)까지 확장하여 수행되었습니다. 평가 결과, 제로샷 LLMs는 폐쇄 집합 분류(closed-set classification)에서 언어 의존적 불안정성을 보이며 작업 적응형 인코더(task-adapted encoders)보다 실질적으로 효과가 낮았습니다. 자연적인 임상 유병률 하에서 IndicBERT-HPA는 평균 Macro-F1 0.8792, Macro-AUROC 0.894, AUPRC 0.902를 달성하며 가장 강력한 전반적 성능을 보여주었습니다. 나아가 우리는 신뢰도 게이팅(confidence gating), 증거 일관성 확인(evidence-consistency checking), 언어 위험 스크리닝(language-risk screening)을 결합한 결정론적 선택적 검증 계층(deterministic selective-verification layer)을 구현했습니다. 무작위로 선택된 5,000개의 홀드아웃(held-out) 데이터 서브셋에서, 이 계층은 72.3%의 커버리지(coverage)에서 84.4%의 선택적 정확도(selective accuracy)와 0.76의 선택적 Macro-F1을 달성하였으며, 이는 모든 예측을 수용(accept-all)했을 때의 정확도 71.5% 및 Macro-F1 0.65와 비교됩니다. 이러한 결과는 명시적 유보(explicit deferral)를 포함하는 신뢰성 중심의 다국어 임상 의사결정 지원을 뒷받침합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기