SHIELD: 기업 규모 데아이덴티피케이션을 위한 다양한 임상 노트 데이터셋 및 압축된 소규모 언어 모델

요약

본 논문은 기존 임상 텍스트 데아이덴티피케이션(de-identification) 벤치마크의 한계를 극복하기 위해 구축된 SHIELD 데이터셋과 이를 기반으로 압축된 소규모 언어 모델(SLM)을 소개합니다. SHIELD는 다양한 범주의 노트와 골드 스탠더드 PHI를 포함하며, 인간 참여 과정을 거쳐 높은 다양성을 확보했습니다. 연구진은 이 데이터를 사용하여 여러 LLM의 성능 상한선을 설정하고, 이를 로컬 배포가 가능한 SLM으로 압축하여 표준 워크스테이션 환경에서 높은 정밀도와 회귀율을 달성하는 모델을 개발했습니다.

핵심 포인트

• SHIELD 데이터셋은 기존 벤치마크보다 현대적이고 다양한 임상 노트 데이터를 제공하며, 인간-인-루프 심판 과정을 거쳐 구축되었습니다.
• 연구팀은 대규모 언어 모델(LLM)의 성능을 활용하여 로컬 배포가 가능한 소규모 언어 모델(SLM)로 압축하는 방법을 제시했습니다.
• 최종 개발된 SLM은 구조화된 PHI 카테고리에서 미크로-평균 정밀도 0.88, 회귀율 0.86을 달성하여 높은 성능을 입증했습니다.
• 모델의 크로스 데이터셋 평가는 모델이 광범위한 커버리지와 전문적인 구조화된 PHI에 모두 잘 일반화될 수 있음을 보여주었습니다.