임상 시각-언어 모델 (VLMs)의 안전한 배포를 위해서는 신뢰할 수 있는 불확실성 추정 (Uncertainty Estimation, UE)이 필요합니다. 이는 예측을 신뢰해야 할 시점인지, 혹은 임상의에게 보고(escalate)해야 할 시점인지를 나타내는 신호입니다. 본 연구에서는 현재의 UE 방법론들이 실제로 이러한 신호를 제공하는지 테스트합니다. 12개의 VLMs를 대상으로 임상 시각 질의응답 (Visual Question-Answering, VQA)에서 8가지 방법을 벤치마킹한 결과, UE의 품질은 UE 방법론 자체의 고유한 속성이 아님을 발견했습니다. UE는 모델의 정확도를 추적하며, 모델의 성능이 가장 취약하고 따라서 신뢰성이 가장 절실히 필요한 지점에서 정확히 성능이 저하됩니다. 객관식 답변 중 정답을 숨기는 방식 (NOTA perturbations)으로 모델을 스트레스 테스트했을 때, 정확도는 급격히 무너지지만 불확실성은 거의 변하지 않아 모델이 체계적으로 미보정 (miscalibrated) 상태로 남게 됩니다. 그러나 우리는 변형되지 않은 입력값에 대한 불확실성이 NOTA 상황에서 어떤 예측이 붕괴할지를 안정적으로 예측한다는 것을 발견했으며, 이는 현재 VLMs의 UE가 모델의 취약성에 대한 진단적 정보를 담고 있음을 나타냅니다. 우리의 결과는 UE를 취약한 예측을 식별하기 위한 진단 도구로 정의하며, 안전한 임상 배포를 향한 경로로서 섭동 기반 평가 (perturbation-based evaluation)의 동기를 부여합니다.