자율주행 위험 감지를 위한 비전-언어 모델의 태스크 정렬 안정성 분석

비전-언어 모델(VLMs)은 자율주행 분야에서 장면 이해를 위해 점점 더 많이 사용되고 있지만, 강건성 분석은 종종 태스크와 무관한 임베딩 안정성에만 의존합니다. 우리는 손상으로 유발된 임베딩 드리프트가 CLIP 이미지-텍스트 유사도에서 파생된 태스크 정렬 위험 점수의 변화를 예측하는지 연구했습니다. BDD100K 도로 장면에 통제된 손상을 적용하여, 우리는 임베딩 드리프트를 섭동(perturbation) 하에서의 위험 점수 변화로 정의되는 마진 드리프트와 비교합니다. 이 관계는 손상에 따라 크게 달라집니다: 일부 계열은 표현 드리프트와 결정 드리프트 사이에 강한 결합을 보이는 반면, 다른 계열은 상대적으로 적당한 임베딩 변화에도 불구하고 위험한 결정 불안정성을 유발합니다. 더욱이, 손상 계열들은 실패 방향에서 차이를 보입니다: 대부분은 거짓 음성(false negatives)을 통해 위험 감지를 억제하는 반면, 가림(occlusion)은 대신 오경보(false alarms)를 유발하여, 벤치마크 설계가 단순히 전반적인 불안정성 비율뿐만 아니라 비대칭적 실패 모드를 고려해야 함을 시사합니다. 이러한 결과는 강건성 벤치마크가 임베딩 수준의 섭동 통계 외에도 태스크 정렬 안정성 측정치를 포함해야 함을 제안합니다.