ChartFI: 멀티모달 거대 언어 모델(MLLM)의 차트 설명에 대한 충실도 및 통찰력 벤치마킹

차트 설명(Chart descriptions)은 접근성, 교차 모달 검색(cross-modal retrieval), 그리고 독자가 복잡한 시각화 자료에서 통찰력을 추출하는 것을 돕는 데 필수적입니다. 멀티모달 거대 언어 모델(Multimodal Large Language Models, MLLMs)이 자동화된 차트 설명 생성에 점점 더 많이 채택됨에 따라, 다음과 같은 중요한 질문이 제기됩니다: 이 모델들이 실제로 얼마나 충실하고 통찰력 있게 차트를 설명하는가? 기존의 벤치마크(benchmarks)는 두 가지 측면에서 부족함이 있습니다. 첫째, 기존 데이터셋은 단순하고 균일한 차트와 사실을 나열하는 데 그치는 얕은 설명들로 구성되어 있습니다. 둘째, 널리 사용되는 지표(metrics)들이 설명 품질의 다면적인 특성을 포착하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 Chart Faithfulness and Insightfulness Benchmark (ChartFI-Bench)를 제안합니다. 우리는 먼저 고품질 차트 설명을 특징짓는 네 가지 차원을 요약합니다: 사실적 정확성(factual accuracy), 주요 특징 강조(salient feature emphasis), 도메인 기반 가이드(domain-informed guidance), 그리고 차트-텍스트 상호 보완성(chart-text complementarity)입니다. 이러한 차원들에 기반하여, 우리는 시각적으로 복잡한 차트와 의미론적으로 풍부한 설명을 특징으로 하는 896개의 차트-설명 쌍으로 구성된 고품질 벤치마크를 구축합니다. 나아가, 우리는 이러한 차원 전반에 걸쳐 설명의 품질을 체계적으로 평가하기 위해 정렬된 네 가지 평가 지표인 충실도(Faithfulness), 커버리지(Coverage), 정보성(Informativeness), 예리함(Acuity)을 설계합니다. 주요 MLLMs를 대상으로 수행된 실험은 제안된 프레임워크의 효과를 입증하며, 기존 모델들 사이의 공통적인 약점을 드러냅니다.