MMGist: 2027년을 위한 포괄적인 멀티모달 벤치마크 (Multimodal Benchmark)

요약

기존 멀티모달 벤치마크의 시각적 의존성 부족, 성능 포화, 신뢰성 문제를 해결하기 위해 새로운 벤치마크 MMGist를 제안합니다. 3단계 필터링 파이프라인을 통해 변별력을 높였으며, 27개의 LVLM을 대상으로 실험하여 모델 간 차이를 효과적으로 구분함을 입증했습니다.

핵심 포인트

• 기존 벤치마크의 시각적 단서 의존성 및 성능 포화 문제 식별
• 텍스트 제거, 교차 모델 포화, 이상 탐지 기반의 3단계 필터링 도입
• 항목 수를 69% 줄이면서도 모델 변별력을 78% 향상
• 시각적 논리(Visual Logic)가 LVLM의 주요 약점임을 확인
• 전문 지식 차원이 폐쇄형과 오픈 소스 모델을 구분하는 핵심 요소임