임상 텍스트 비식별화를 위한 규칙 기반 및 신경망 검출기가 레이어링된 로컬 언어 모델: 오픈 소스 툴킷 및 평가

목표: 로컬 환경에 호스팅되는 대규모 언어 모델(LLM)을 결정론적(deterministic) 및 임상 개체명 인식(NER) 검출기와 쌓아 올렸을 때, 이 모델이 공개된 도구들보다 더 많은 보호 건강 정보(PHI)를 찾아내는지, 그리고 그 정밀도(precision)는 어느 정도인지를 측정하는 것입니다.

재료 및 방법: DeidSharp라는 오픈 소스 .NET 툴킷은 플러그 가능한 검출기(패턴, 임상 NER 모델, 로컬 26B mixture-of-experts LLM)의 결과를 결합하며, 어떤 검출기 오류가 발생하더라도 안전하게 실패(fails closed)합니다. 사전에 지정된 프로토콜 하에, 튜닝 절반으로 고정된 구성을 deid, Philter, Stanford/Penn de-identifier, OpenAI Privacy Filter, 그리고 GLiNER와 비교했습니다. 이 비교는 PhysioNet의 간호 기록(889 스팬)과 반합성 MIMIC-IV-Note 퇴원 요약문(29,023 스팬), 그리고 쌍을 이루는 환자 수준 부트스트랩 구간을 사용한 합성 ASQ-PHI 쿼리에서 수행되었습니다.

결과: 간호 기록의 경우, Stanford/Penn 대비 '재현율 우선(recall-first) 스택'은 98.9%의 PHI를 발견했으며 (+2.8, 95% CI 1.4 to 4.4), 정밀도는 9.3 포인트 낮았습니다. NER가 없는 '정밀도 우선(precision-first) 스택'은 96.5%를 발견하여 Stanford/Penn와 일치했으며, 정밀도는 19.6 포인트 높았습니다 (83.2%). 퇴원 요약문의 경우, 두 스택 모두 Stanford/Penn보다 20 포인트 이상 앞섰습니다 (재현율 우선: 95.3%, +21.5, 20.5 to 22.4). 이는 거의 전적으로 생성된 비유형 이름(untyped names)에서 나타났으며, 유형 레이블(typed labels)의 경우 세 가지 모두 99%를 초과했습니다. 사전에 지정된 네 가지 비교가 모두 유효했습니다. 어떤 구성도 자체 코퍼스에서 deid보다 유의미하게 우수하지 않았습니다. Philter는 재현율 우선 스택보다 23 포인트 낮은 정밀도로 더 많은 퇴원 요약문 스팬을 발견했습니다.

논의: LLM이 주요 검출기 역할을 했고, NER가 지명(place names)을 추가했습니다. 자신의 결과를 검증하도록 요청받았을 때, LLM은 실제 PHI의 4분의 1을 폐기했습니다.

결론: 결정론적 검출기가 레이어링된 로컬 LLM은 텍스트를 외부로 전송할 필요 없이 재현율 우선 및 정밀도 우선 운영 지점을 제공합니다.