VLM 평가 모델의 '맹점' 분석: 이미지-텍스트 및 텍스트-이미지 오류 탐지 능력 검증

최근 대규모 비전-언어 모델(Vision-Language Models, VLMs)은 시각적 질의응답과 같은 이미지-텍스트 (I2T) 작업이나 텍스트-이미지 (T2I) 생성 작업 등 다른 모델의 출력을 평가하는 데 점점 더 많이 활용되고 있습니다. 하지만 이러한 '평가용 VLM(Evaluator VLMs)'들의 신뢰성은 아직 충분히 탐구되지 않은 영역입니다.

본 연구에서는 I2T와 T2I 작업을 아우르는 전반적인 범위에서 평가용 VLM의 신뢰성을 체계적으로 검증했습니다. 이를 위해 객체 환각(object hallucinations), 공간 추론(spatial reasoning), 사실적 근거(factual grounding), 시각적 충실도(visual fidelity) 등 핵심 오류 차원을 따라 출력 품질을 저하시키는 목표 교란(targeted perturbations)을 도입했습니다.

연구진은 40개 이상의 교란 차원과 4000개가 넘는 인스턴스를 포함하는 포괄적인 벤치마크를 구축하고, 이 데이터를 사용하여 4개의 대표 VLM을 평가했습니다. 평가는 단일 답변 점수 부여(single-answer scoring), 쌍별 비교(pairwise comparison), 그리고 참조 기반 가이드 방식(reference-guided paradigms)의 세 가지 패러다임을 통해 진행되었습니다.

연구 결과는 현재의 VLM 평가기가 심각한 '맹점(blind spots)'을 가지고 있음을 명확히 보여주었습니다. 구체적으로, 다음과 같은 문제들이 발견되었습니다:

1. 오류 탐지 실패: 많은 경우 교란된 출력을 감지하는 데 실패했으며, 일부 사례에서는 50%를 초과하여 오류를 놓치는 것으로 나타났습니다.
2. 미세한 오류 취약성: 특히 미세하게 구성되거나 공간적인 오류(fine-grained compositional and spatial errors)에 어려움을 겪는 경향이 두드러졌습니다.
3. 환각 내용 무시: 입력 이미지와 모순되는 환각된 콘텐츠에는 종종 둔감한 모습을 보였습니다.

평가 방식 중에서는 '쌍별 비교(Pairwise comparison)'가 단일 점수 부여보다 더 신뢰성이 높은 것으로 입증되었으나, 여전히 실패율이 존재한다는 사실을 간과해서는 안 됩니다. 이러한 결과들은 현재의 평가용 VLM들이 가진 신뢰할 수 없는 본질적 특성을 강조하며, 모델 벤치마킹이나 실제 개발 결정에 이들을 사용할 때 극도의 주의가 필요함을 강력히 경고합니다.

연구진은 관련 코드와 데이터를 공개하여 학계의 검증을 독려하고 있습니다.