흉부 방사선 촬영을 위한 시각-언어 모델(Vision-language models)은 항상 이미지를 필요로 하지는 않는다

의료용 시각-언어 모델(Vision-language models)은 강력한 흉부 방사선(chest radiograph) 정확도를 보고하고 있으며, 이는 이 모델들이 이미지를 사용한다는 증거로 점점 더 해석되고 있습니다. 하지만 그러한 추론은 안전하지 않습니다. 소견 명칭의 사전 확률(finding-name priors)을 이용하는 모델은 스캔 영상을 판독하는 모델과 유사한 점수를 기록하며, 어떤 표준 벤치마크도 이 둘을 구분해내지 못합니다. 우리는 관련 영역을 가리거나(occluding), 무관한 영역을 가리거나, 동일한 라벨을 가진 다른 환자의 스캔 영상으로 교체하는 방식으로 이미지에 개입하는 인과적 감사(causal audit)를 도입하였으며, 정답이 이미지에 의존하는지 테스트하기 위해 세 가지 행동 지표(behavioral metrics)를 결합했습니다. 9개의 시스템을 대상으로 조사한 결과, 이미지 접근 권한이 없는 텍스트 전용(text-only) 모델이 가장 성능이 좋은 멀티모달(multimodal) 모델의 정확도와 5.7점 차이 이내로 도달했으며, 1,190억 개의 파라미터를 가진 멀티모달 모델은 70억 개의 파라미터를 가진 텍스트 전용 베이스라인과 통계적으로 구별할 수 없었습니다. 이 감사는 코호트를 이미지를 무시하는 3개의 모델, 불안정한 1개의 모델, 그리고 특정 소견의 하위 집합에 대해 이미지를 선택적으로 사용하는 5개의 모델로 분류했으며, 이러한 범주는 두 번째 데이터셋, 해상도, 프롬프트 문구(prompt phrasing)에 걸쳐 유지되었습니다. 전문의(board-certified radiologists)와 비교했을 때, 텍스트 전용 모델은 근거 제시(grounding)가 0인 상태에서도 전문의의 정확도와 통계적으로 구별할 수 없었던 반면, 이미지를 사용하는 모델은 전문의와 유사한 비율로 근거를 제시했습니다. 보고된 신뢰도 플래그(confidence flags)는 모델이 이미지를 사용할 때만 근거가 없는 답변을 식별해냈습니다. 임상 배포를 결정할 때는 정확도가 아닌 근거 제시(grounding) 감사를 기준으로 삼아야 합니다.