멀티모달 대규모 언어 모델(MLLMs)은 이미지 캡션을 생성할 때 오류를 자주 발생시키며, 이는 이미지-텍스트 쌍의 불일치를 초래합니다. 저희 연구는 이러한 캡셔닝 오류 중 '체계적 불일치(systematic misalignments)'라고 부르는 유형에 초점을 맞추었습니다. 체계적 불일치는 MLLM이 생성한 캡션에서 발생하는 반복적인 오류가 쌍을 이루는 이미지의 특정 시각적 특징과 밀접하게 연관되어 있는 경우를 말합니다. MLLM이 생성한 캡션을 포함하는 비전-언어 데이터셋이 주어졌을 때, 저희의 목표는 이러한 오류를 감지하는 것이며, 이 작업을 '체계적 불일치 감지(systematic misalignment detection)'라고 부릅니다.

첫 번째 주요 기여로, 저희는 Symbal을 제시합니다. Symbal은 구조화되고 2단계 설정을 활용하며 상용 기반 모델(off-the-shelf foundation models)을 사용하여 체계적 불일치를 식별하고 그 결과를 자연어로 요약하는 시스템입니다. 두 번째 주요 기여로, 저희는 제안된 작업을 자동화된 방법으로 평가하기 위해 설계된 벤치마크인 SymbalBench를 소개합니다. SymbalBench는 두 가지 도메인(자연 이미지 및 의료 이미지)의 170만 개 이미지-텍스트 쌍으로 구성되어 있으며, 420개의 비전-언어 데이터셋에 체계적 불일치가 주석 처리되어 있습니다. Symbal은 이 벤치마크에서 강력한 성능을 보이며, 63.8%의 데이터셋에서 체계적 불일치를 정확하게 식별해냈는데, 이는 가장 근접한 기준선 대비 거의 4배 향상된 수치입니다. 저희는 SymbalBench에 대한 평가를 실제 환경에서의 평가로 보완하여, (1) Symbal이 네 가지 MLLM이 생성한 캡션에서 체계적 불일치를 정확하게 드러낼 수 있으며, (2) Symbal이 상용 이미지-캡션 데이터셋을 감사(auditing)하는 데 강력한 도구임을 보여줍니다. 궁극적으로, 저희의 새로운 작업, 방법론, 그리고 벤치마크는 사용자가 근본적인 MLLM에 접근할 필요 없이 MLLM이 생성한 캡션을 감사하고 중요한 오류를 식별하는 데 도움을 줄 수 있습니다. 코드는 https://github.com/Stanford-AIMI/Symbal에서 이용 가능합니다.