VLM이 알고 있는 것을 파괴할 때: 공간적 표현은 어휘적 사전 지식보다 떨어진다

요약

본 논문은 Vision-Language Models (VLMs)의 내부 표현이 이미지 속 구조화된 관계를 얼마나 잘 인코딩하는지 분석했습니다. 연구진은 EICS와 CASP-VL이라는 새로운 벤치마크를 제시했으며, 그 결과 공간적 관계가 어휘적 정보보다 훨씬 불안정하게 표현됨을 발견했습니다. 이는 VLM이 입력받은 관계 정보를 다운스트림 작업에 필요한 전역 표현에서 보존하지 못하는 체계적인 실패를 의미합니다.

핵심 포인트

• VLM의 내부 표현은 공간적 관계가 어휘적 정보보다 불안정하다.
• EICS와 CASP-VL이라는 새로운 벤치마크를 제안했다.
• 공간적 관계는 전역 풀링 과정에서 손실되는 경향을 보인다.
• 출력 기반 평가로는 감지할 수 없는 구조적 실패가 존재한다.