과학적 시각화 리터러시를 위한 멀티모달 대규모 언어 모델 벤치마킹

요약

본 연구는 멀티모달 대규모 언어 모델(MLLMs)의 과학적 시각화(SciVis) 리터러시를 평가하기 위한 표준화된 벤치마크 테스트를 개발했습니다. 총 49개 항목으로 구성된 이 테스트는 6개의 MLLMs를 비교했으며, Gemini가 전반적으로 가장 강력한 성능을 보였습니다. MLLMs의 성능은 시각화 기법과 작업 유형에 따라 매우 불균일하며, 특히 정량적 추정이나 복잡한 해석에서 어려움을 겪었습니다.

핵심 포인트

• SciVis 리터러시 평가는 MLLM 평가의 필수적인 벤치마크가 되어야 합니다.
• Gemini가 전반적으로 가장 강력한 성능을 보였으나, 모델 간 편차가 큽니다.
• 모델들은 과학적 일러스트레이션이나 검색에서는 강점을 보였습니다.
• 정량적 추정 및 복잡한 해석에서 MLLMs의 반복적인 실패가 관찰되었습니다.