임상용 시각-언어 모델(Vision-Language Models)에서의 교차 모달 연결 위험성

흉부 방사선 사진(chest radiographs)과 방사선 보고서(radiology reports)가 쌍으로 구성된 데이터로 학습된 시각-언어 모델(Vision-Language Models, VLMs)은 인스턴스 수준의 이미지-보고서 대응 관계를 보존할 수 있는 공유 임베딩 공간(shared embedding space)을 학습합니다. 이는 이미지 전용 데이터 공유나 접근 제어된 보고서와 같이 획득 후 방사선 사진과 보고서를 의도적으로 분리하여 보관하는 환경에서 개인정보 보호 위험을 초래합니다. 비식별화된 이미지가 코사인 유사도(cosine similarity)만으로 원래의 서술형 보고서와 다시 연결될 수 있기 때문입니다. 우리는 이를 이미지-보고서 검색(image-to-report retrieval)으로 공식화하였으며, 실제 쌍 구성이 설계 단계부터 알려져 있는 공개 쌍 코호트(public paired cohorts)를 개인정보 보호 시나리오가 아닌 위험을 감사하기 위한 정답 벤치마크(ground-truth benchmarks)로 사용했습니다. MIMIC-CXR(43,793개의 홀드아웃 쌍)과 외부 CheXpert Plus(29,296개의 쌍)에 걸쳐 126,804명의 환자로부터 얻은 406,241개의 쌍 데이터로 임상 전문성이 점진적으로 높아지는 VLM들을 평가한 결과, 전문성이 높아질수록 재연결(re-linkage) 위험이 체계적으로 증가함을 발견했습니다. 가장 강력한 VLM은 후보군 N = 100일 때 우연(chance)보다 15배 높은 확률로 정확한 보고서를 검색했으며, N = 10,000일 때는 우연보다 50배 높은 확률을 보였고, 전체 데이터베이스 규모에서는 우연을 훨씬 상회했습니다. 이러한 신호는 질병 라벨에 의한 지름길(shortcuts)을 제거한 병리 매칭 하드 네거티브(pathology-matched hard negatives) 하에서도 지속되었으며, 이는 광범위한 진단 범주를 넘어선 대응 관계가 존재함을 나타냅니다. 재학습 없이 이 위험을 줄이기 위해, 우리는 두 인코더(encoders)를 동결하고 정렬 레이어(alignment layer)를 정의하는 프로젝션 헤드(projection heads)에만 차분 프라이버시 최적화(differentially private optimization)를 적용했습니다 (epsilon = 0.34, delta = 6x10-6). 이를 통해 MIMIC-CXR의 N = 10,000 환경에서 Recall@1을 61.8% 감소시켰으며, 재학습 없이 CheXpert Plus로도 전이되었습니다. 반면 이미지 측면의 유용성(utility)은 대부분 보존되었습니다: 14개 라벨에 대한 선형 프로브 분류(linear-probe classification)의 macro AUROC는 79.63%에서 79.43%로 소폭 변화했습니다. 공유 정렬 레이어에 대한 표적 DP 미세 조정(Targeted DP finetuning)은 이러한 모델들을 임상적으로 유용하게 만드는 이미지 표현(image representations)을 실질적으로 저하시키지 않으면서도 교차 모달 재연결을 상당히 줄일 수 있습니다.