슬롭 패러독스(The Slop Paradox): 합성 표준화가 AI로 재작성된 방사선 보고서의 임상적 불확실성과 교차 모달

AI 보조 임상 문서화 도구들은 거대 언어 모델(LLMs)을 사용하여 방사선 보고서를 점점 더 많이 요약, 표준화 및 재구성하고 있습니다. 우리는 이로 인해 발생하는 정보 저하(information degradation)를 통제된 방식으로 측정하여 제시합니다. Indiana University 데이터셋의 흉부 X-ray 보고서 450개를 사용하여, 우리는 세 가지 현실적인 LLM 재작성 작업인 EHR 요약(EHR summarization), 표준화된 재작성(standardized rewriting), 그리고 교육용 사례 준비(teaching case preparation)를 통해 합성 버전을 생성합니다. 우리는 개체 침식(entity erosion, 의료 NER을 통해 측정), 헤징 붕괴(hedging collapse, 임상적 불확실성 언어의 상실), 그리고 교차 모달 정렬 저하(cross-modal alignment degradation, BiomedCLIP 이미지-텍스트 유사도를 통해 측정)를 측정합니다. 우리의 핵심 발견은 정보 손실과 교차 모달 충실도(cross-modal fidelity) 사이의 해리(dissociation)입니다. EHR 요약은 콘텐츠 수준에서 가장 파괴적이며, 임상 개체의 51.4%와 헤징 언어의 43.7%를 침식시키지만, 이미지-텍스트 정렬은 거의 완전히 보존합니다(2.5% 하락). 더 깨끗한 학습 데이터를 생성하기 위한 목적인 두 작업, 즉 표준화된 재작성과 교육용 사례 준비는 그 반대의 결과를 초래합니다. 이들은 더 많은 개체를 보존하지만(26.8% 및 29.3% 침식), EHR 요약보다 67배 높은 14.916.5%의 정렬 저하를 일으킵니다. 우리는 이를 '슬롭 패러독스(slop paradox)'라고 명명합니다. 즉, 멀티모달 학습을 위해 임상 텍스트를 더 깨끗하게 보이도록 재작성하는 것이 정확히 텍스트를 이미지로부터 멀어지게 만드는 것입니다. 우리가 사전에 설정한 가설과 달리, 희귀 병변이 우선적으로 저하되지는 않았습니다. 9가지 희귀 대 일반 비교 전반에 걸쳐, 다중 비교 교정(multiple-comparison correction)을 거친 후에도 차이가 생존하지 않았으며, 명목상의 차이는 반대 방향(일반 > 희귀)으로 나타났으므로, 오염은 질환별 모니터링으로는 감지할 수 없습니다. 저하의 지배적인 결정 요인은 임상 콘텐츠가 아니라 AI 재작성 작업의 유형입니다. 이러한 발견은 멀티모달 의료 AI 데이터셋 구축 및 AI 보조 임상 문서화의 거버넌스에 시사하는 바가 큽니다.