VLM 평가 모델의 '맹점' 분석: 이미지-텍스트 및 텍스트-이미지 오류 탐지 능력 검증

요약

본 연구는 현재 광범위하게 사용되는 평가용 VLM(Evaluator VLMs)의 신뢰성 문제를 체계적으로 분석합니다. 이미지-텍스트 (I2T) 및 텍스트-이미지 (T2I) 작업 전반에 걸쳐, 객체 환각, 공간 추론, 사실적 근거 등 주요 오류 차원을 목표로 하는 정교한 교란(perturbations)을 도입했습니다. 총 40개 이상의 교란 차원과 4000개가 넘는 인스턴스를 사용하여 4개의 대표 VLM을 평가한 결과, 현재의 평가용 VLM들이 심각한 '맹점'을 가지고 있음을 발견했습니다. 특히 미세한 구성적/공간적 오류나 입력 이미

핵심 포인트

• VLM 평가 모델은 객체 환각, 공간 추론 등 주요 오류 차원을 탐지하는 데 어려움을 겪으며, 일부 경우 50% 이상의 교란된 출력을 놓치는 것으로 나타났습니다.
• 연구는 총 40개 이상의 교란 차원과 4000개가 넘는 인스턴스를 포괄적인 벤치마크로 사용하여 4개의 주요 VLM을 평가했습니다.
• 평가 방식 중 '쌍별 비교(Pairwise comparison)'가 단일 답변 점수 부여보다 더 신뢰성이 높았으나, 여전히 실패율이 존재합니다.
• 현재의 평가용 VLM들은 입력 이미지와 모순되는 환각된 내용에 둔감한 경향을 보여, 모델 개발 및 벤치마킹 결정 시 주의가 필요함을 강조합니다.