ClinicalBERT 언어 예측 내 인구통계학적 연관성 인코딩에 대한 계산적 감사

Transformer 기반 임상 언어 모델(clinical language models)이 중대한 임상 의사 결정 지원 파이프라인에 점점 더 통합되고 있으나, 의료 문서에 인코딩된 인구통계학적 연관성이 모델 확률 분포로 전파되는 계산적 메커니즘은 여전히 경험적으로 명확히 규명되지 않았습니다. 본 연구에서는 MIMIC-III 퇴원 요약문으로 사전 학습된 BERT 기반 모델인 ClinicalBERT (Alsentzer et al., 2019)의 표현 편향(representational bias)에 대한 체계적인 계산적 감사를 제시합니다. 이를 위해 두 가지 상호 보완적인 프로빙(probing) 방법론을 사용합니다. 첫째, 행동적 및 평가적 의미 범주 전반에 걸쳐 마스크된 토큰 확률 분포에서 인구통계학적 기술어(demographic descriptor)로 인해 유도된 변화를 정량화하는 로그 확률 편향 분석 (Log Probability Bias Analysis, LPBA)입니다. 둘째, 98개의 실제 임상 문장 템플릿과 8개의 교차적 인종-성별 조합을 통해 인구통계학적 주체성 귀속(demographic agency attribution) 인코딩에 대한 내부 표현 구조를 조사하는 마스크 언어 모델 기반 분석 (Masked Language Model-based analysis, MLM)입니다. 코퍼스 빈도 분석(Corpus frequency analysis)은 MIMIC-III 학습 코퍼스의 경험적 용어 빈도를 기준으로 모델 출력을 벤치마킹함으로써 통계적 불균형(statistical disparity)과 편향 증폭(bias amplification) 사이의 구분을 실행합니다. 32개의 통계적으로 유의미한 발견 중 65.6%가 관찰된 코퍼스 분포와 모순되었으며, 흑인 환자의 경우 80%, MLM 프로빙 하의 주체성 귀속의 경우 87.5%까지 상승했습니다. 이는 ClinicalBERT의 표현 편향이 학습 데이터의 상속보다는 주로 모델 내부의 증폭을 통해 작동한다는 직접적인 경험적 증거를 제공합니다. 키워드: 자연어 처리 (natural language processing), 임상 문서화 (clinical documentation), 알고리즘 감사 (algorithmic auditing), 표현 편향 (representational bias), 건강 형평성 (health equity) 1