MMGist: 2027년을 위한 포괄적인 멀티모달 벤치마크 (Multimodal Benchmark)

우리는 널리 사용되는 18개의 시각-언어 (vision-language) 벤치마크에 대해 체계적인 연구를 수행하였으며, 세 가지 주요 문제를 식별했습니다: 1) 많은 항목이 시각적 단서 (visual cues)에 의존하지 않아 멀티모달 이해 (multimodal understanding)를 효과적으로 측정하지 못함; 2) 많은 항목이 현재의 거대 시각-언어 모델 (LVLMs)에서 이미 성능 포화 상태에 도달하여 변별력을 제한함; 3) 소수의 이상 항목 (anomalous items)이 평가 결과의 신뢰성에 영향을 미침. 이를 위해, 우리는 7가지 능력 차원을 다루며 7,262개의 항목을 포함하는 큐레이션된 벤치마크인 MMGist를 제안합니다. MMGist는 텍스트 제거 (text-ablation) 필터링, 교차 모델 포화 (cross-model saturation) 필터링, 그리고 이상 탐지 (anomaly detection) 필터링을 순차적으로 결합하는 3단계 파이프라인을 통해 구축되었습니다. 우리는 27개의 선도적인 LVLMs를 대상으로 광범위한 실험을 수행하였으며, MMGist를 23,250개의 항목으로 구성된 원시 풀 (raw pool)과 비교하였습니다. 결과에 따르면 MMGist는 Spearman $ρ= 0.98$로 모델 순위를 높은 충실도로 유지하면서도, 평가 항목을 69% 줄이고 교차 모델 변별력을 78% 향상시켰습니다. 추가적인 결과는 시각적 논리 (Visual Logic)가 현재 LVLMs의 체계적인 약점으로 남아 있는 반면, 전문가 지식 (Expert Knowledge) 차원과 같은 지식 집약적 차원은 폐쇄형 모델 (closed-source models)과 오픈 소스 모델 (open-source models)을 구분하는 중요한 요소로 남아 있음을 나타냅니다. 이러한 발견은 고품질 평가가 단순히 벤치마크 규모를 추구하기보다 시각적 의존성 (visual dependency), 변별력 (discriminative power), 그리고 신뢰성 (reliability)을 우선시해야 함을 시사합니다.