다중 차트 기반 질의응답(QA) 성능 평가를 위한 PolyChartQA 벤치마크 공개

복잡한 정보를 이해하고 의미 있는 통찰력을 도출하기 위해서는 단일 차트(single plot) 해석을 넘어 여러 개의 관련 차트를 종합적으로 분석하는 능력이 필수적입니다. 하지만 현재까지 다중 차트 이미지에 대한 심층적인 이해 및 질의응답(QA) 연구는 충분히 이루어지지 않았습니다.

이에 본 논문은 이러한 격차를 해소하기 위해 PolyChartQA라는 중규모 데이터셋을 제안합니다. PolyChartQA는 컴퓨터 과학 분야에서 동료 검토(peer-reviewed)된 출판물에서 추출한 534개의 다중 차트 이미지와 총 2,694쌍의 질의응답(QA) 쌍으로 구성되어 있습니다.

연구진은 이 새로운 벤치마크를 활용하여 현재 시장에 나와 있는 아홉 가지 최신 멀티모달 언어 모델(MLMs)들의 성능을 광범위하게 평가했습니다. 평가는 단순히 정확도만을 측정하는 것이 아니라, 질문의 유형(question type), 난이도(difficulty), 질문 출처(question source), 그리고 다중 차트가 가진 핵심 구조적 특성 등 다각적인 관점에서 이루어졌습니다.

평가 결과는 몇 가지 중요한 시사점을 제공합니다. 첫째, LLM 기반 정확도(L-Accuracy)를 기준으로 볼 때, 인간이 직접 작성한 질문에 대한 모델의 성능은 LLM이 자체적으로 생성한 질문에 비해 약 27.4% 낮은 경향을 보였습니다. 이는 모델들이 실제 사용자 환경에서 마주하는 복잡하고 미묘한 질문 의도를 파악하는 데 어려움을 겪고 있음을 시사합니다.

둘째, 연구진은 자신들이 제안하는 특정 프롬프팅(prompting) 방법론을 적용했을 때, PolyChartQA 데이터셋에서의 L-Accuracy가 5.39% 향상되는 것을 입증했습니다. 이는 다중 차트 QA 작업에서 모델의 성능을 극대화하기 위해 체계적이고 구조적인 가이드를 제공하는 것이 매우 효과적임을 의미합니다.

결론적으로, PolyChartQA는 학계와 산업계 모두가 다중 시각 자료 기반 추론 능력을 측정하고 개선할 수 있는 표준화된 도구를 제공하며, 향후 멀티모달 AI 모델 개발의 중요한 이정표가 될 것입니다.