의료 비전-언어 모델(VLMs)은 주로 발견 사항 전반에 걸쳐 평균된 정확도로 비교되는데, 이는 단일 진단에서의 완전한 실패를 숨길 수 있는 요약 지표입니다. 우리는 5개의 공개 의료 VLM(MedGemma-4B, Lingshu-7B, HuatuoGPT-Vision-7B, Qwen2.5-VL-7B, 및 MedVLM-R1)을 성별, 연령, 발견 사항, 레이블로 균형 잡힌 6,048개의 ChestX-ray14 질문에 대해 감사했습니다. 432개의 pneumothorax 양성 X-ray에서 HuatuoGPT-Vision과 Qwen2.5-VL은 사례를 탐지하지 못한 반면, MedGemma와 Lingshu는 동일한 이미지의 각각 38%와 67%를 탐지했습니다. 두 실패 모델 모두 864개의 pneumothorax 사례에 대해 '아니요'라고 답변했지만 (균형 정확도 0.500, 우연), 기흉의 징후를 언급하며 폐가 허탈되었다고 설명한 후 이를 부인하는 유창하고 해부학적으로 구체적인 설명을 생성했으며, 어떠한 완충어(hedge)나 포기(abstention)도 없었습니다. 이러한 실패는 프롬프팅, 이미지 해상도, 레이블 모호성 또는 모델 규모의 인공물(artifact)이 아닙니다. 이는 네 가지 프롬프트 형식, 기본 해상도, 그리고 단일 레이블 사례 전반에 걸쳐 지속됩니다. 모델 내부 제어(within-model control)를 통해 볼 때, 동일한 강제 프롬프트는 HuatuoGPT가 결절(nodule)에서는 79%의 재현율(recall)을 보이지만 pneumothorax에서는 단지 6%만을 보여줍니다. 이는 10배 규모 증가에도 살아남으며 (Qwen2.5-VL-72B는 4% 탐지), 방사선과 의사가 그린 마스크를 가진 독립적인 데이터셋인 SIIM-ACR에서도 재현됩니다. 이 데이터셋에서 실패 모델들은 확인된 432개의 pneumothorax 중 0개를, 심지어 가장 큰 병변 144개 중 0개를 탐지했습니다. 모델의 로짓(logits)과 내부 상태를 읽어보면 이것이 실명(blindness)이 아님을 알 수 있습니다. 두 실패 모델은 매우 높은 확신도를 보이지만 우연보다 나을 것이 없으며, 선형 프로브(linear probe)는 재현율이 0인 경우에도 그들의 은닉 표현(hidden representations)으로부터 pneumothorax를 복구합니다. 따라서 이 발견 사항은 내부적으로 표현되지만 출력에서 억제됩니다. 그러므로 종합 정확도는 의료 VLM이 주어진 발견 사항을 볼 수 있다는 것을 확립할 수 없습니다. 왜냐하면 하나를 놓치는 모델이라도 여전히 그것을 설득력 있게 설명할 수 있기 때문입니다. 균형 잡힌 사례에 대해 발견 사항별 재현율과 특이도(specificity)를 보고하는 것이 차이를 알려주는 데 필요합니다.