최근Vision-Language Models (VLMs)의 급격한 발전은 통합적인 멀티모달 지식 발견

요약

최근 급증하는 Vision-Language Models (VLMs)는 통합적 지식 발견의 시대를 열었다고 평가받지만, 현재 모델들이 멀티모달 데이터를 신뢰성 있게 합성한다는 전제 자체가 위험하다. 본 논문은 기존의 'Vision Encoder-Projector-LLM' 패러다임이 시각 입력에서 제대로 된 지식을 추출하지 못하고, 오히려 강력한 언어 사전 지식(language priors)에 의존해 시각적 표현 병목 현상을 우회하는 기능적 맹점(functional blindness)을 보인다고 주장한다. 이를 해결하기 위해 데이터셋의

핵심 포인트

• 기존 VLM 평가 방식은 데이터셋 편향과 아키텍처 한계를 혼동하고 있다.
• 저자들은 'Modality Translation Protocol'이라는 정보 이론적 접근법을 제안했다.
• 새롭게 제시된 세 가지 지표(Toll, Curse, Fallacy)를 통해 'Semantic Sufficiency Criterion (SSC)'을 정의했다.
• 언어 엔진이 확장될수록 시각 지식의 병목 현상 페널티가 증가한다는 역설적 법칙을 제시한다.