다중 차트 기반 질의응답(QA) 성능 평가를 위한 PolyChartQA 벤치마크 공개

요약

복잡한 정보를 이해하려면 여러 개의 관련 차트를 종합적으로 해석해야 합니다. 본 논문은 이러한 다중 차트 이미지 기반 질의응답(QA) 능력을 평가하기 위해 PolyChartQA라는 중규모 데이터셋을 소개합니다. 이 벤치마크는 컴퓨터 과학 분야의 동료 검토 출판물에서 가져온 534개의 다중 차트 이미지와 총 2,694개의 QA 쌍으로 구성되어 있습니다. 연구진은 이를 활용하여 기존 최신 멀티모달 언어 모델(MLMs)들의 성능을 평가했으며, 특히 인간이 작성한 질문과 LLM이 생성한 질문 간의 정확도 차이 및 새로운 프롬프팅 기법 적용

핵심 포인트

• PolyChartQA는 컴퓨터 과학 분야 출판물에서 가져온 534개의 다중 차트 이미지와 2,694개의 QA 쌍으로 구성된 전문적인 벤치마크입니다.
• 기존 최신 멀티모달 언어 모델(MLMs)의 성능을 질문 유형, 난이도, 구조적 특성 등 다양한 측면에서 종합적으로 평가했습니다.
• 연구 결과에 따르면, 인간이 작성한 질문에 대한 LLM 기반 정확도(L-Accuracy)는 MLM 생성 질문 대비 27.4% 하락하는 경향을 보였습니다.
• 제안된 프롬프팅 방법론을 적용했을 때, L-Accuracy가 5.39% 향상되는 효과를 입증했습니다.