의료용 언어 모델(LMs)의 임상적 근거에 기반한 프라이버시 평가

의료용 언어 모델(LMs)은 보호된 건강 정보(PHI)를 암기하고 재현할 수 있지만, 프라이버시 평가는 실제적인 위협 모델(threat models) 하에서의 정보 유출보다는 학습 텍스트의 복구에 초점을 맞추는 경우가 많습니다. 본 연구에서는 공개적으로 추론 가능한 인구통계학적 정보부터 유출된 진료 기록 파편에 이르기까지, 적대적 접근(adversarial access)의 단계별 축을 따라 유출을 평가하는 임상적 근거에 기반한 프레임워크를 소개합니다. 각 단계에서 우리는 환자 특정 텍스트의 축자적 암기(verbatim memorization)와 민감한 진단명에 대한 의미론적 유출(semantic leakage)을 측정합니다. 378,000개의 임상 기록으로 사전 학습된(pretrained) 언어 모델(LM)에 이 프레임워크를 적용한 결과, 일상적인 진료 메타데이터(즉, 이름, 생년월일, 의료진, 진료소, 방문 날짜)가 환자의 타임라인 전반에 걸쳐 높은 축자적 암기율을 유발하며, 민감한 진단명 복구(낙태의 경우 AUROC 0.91, HIV의 경우 0.81)를 일으킨다는 것을 발견했습니다. 동시에, 정확히 일치하는 암기(exact-match memorization)는 정보 유출을 과장할 수 있습니다. 암기된 토큰의 36%는 템플릿화된 문서 양식을 반영합니다. 우리의 연구는 종단적 임상 데이터(longitudinal clinical data)를 학습할 때의 위험성을 강조하며, 의료용 언어 모델(LMs)의 맥락적 프라이버시 평가를 위한 실질적인 프레임워크를 제공합니다.