Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 연구는 자율주행 분야에서 사용되는 비전-언어 모델(VLMs)의 강건성을 분석했습니다. 단순히 임베딩 안정성만 보는 것이 아니라, 손상으로 인한 '태스크 정렬 위험 점수' 변화를 측정하여 모델의 취약점을 파악했습니다. 그 결과, 다양한 종류의 드리프트와 손상이 비대칭적인 실패 모드(오경보/거짓 음성)를 유발함을 밝혀냈습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기비전-언어 모델(VLMs)은 자율주행 분야에서 장면 이해를 위해 점점 더 많이 사용되고 있지만, 강건성 분석은 종종 태스크와 무관한 임베딩 안정성에만 의존합니다. 우리는 손상으로 유발된 임베딩 드리프트가 CLIP 이미지-텍스트 유사도에서 파생된 태스크 정렬 위험 점수의 변화를 예측하는지 연구했습니다. BDD100K 도로 장면에 통제된 손상을 적용하여, 우리는 임베딩 드리프트를 섭동(perturbation) 하에서의 위험 점수 변화로 정의되는 마진 드리프트와 비교합니다. 이 관계는 손상에 따라 크게 달라집니다: 일부 계열은 표현 드리프트와 결정 드리프트 사이에 강한 결합을 보이는 반면, 다른 계열은 상대적으로 적당한 임베딩 변화에도 불구하고 위험한 결정 불안정성을 유발합니다. 더욱이, 손상 계열들은 실패 방향에서 차이를 보입니다: 대부분은 거짓 음성(false negatives)을 통해 위험 감지를 억제하는 반면, 가림(occlusion)은 대신 오경보(false alarms)를 유발하여, 벤치마크 설계가 단순히 전반적인 불안정성 비율뿐만 아니라 비대칭적 실패 모드를 고려해야 함을 시사합니다. 이러한 결과는 강건성 벤치마크가 임베딩 수준의 섭동 통계 외에도 태스크 정렬 안정성 측정치를 포함해야 함을 제안합니다.