과학적 시각화 리터러시를 위한 멀티모달 대규모 언어 모델 벤치마킹
요약
본 연구는 멀티모달 대규모 언어 모델(MLLMs)의 과학적 시각화(SciVis) 리터러시를 평가하기 위한 표준화된 벤치마크 테스트를 개발했습니다. 총 49개 항목으로 구성된 이 테스트는 6개의 MLLMs를 비교했으며, Gemini가 전반적으로 가장 강력한 성능을 보였습니다. MLLMs의 성능은 시각화 기법과 작업 유형에 따라 매우 불균일하며, 특히 정량적 추정이나 복잡한 해석에서 어려움을 겪었습니다.
핵심 포인트
- SciVis 리터러시 평가는 MLLM 평가의 필수적인 벤치마크가 되어야 합니다.
- Gemini가 전반적으로 가장 강력한 성능을 보였으나, 모델 간 편차가 큽니다.
- 모델들은 과학적 일러스트레이션이나 검색에서는 강점을 보였습니다.
- 정량적 추정 및 복잡한 해석에서 MLLMs의 반복적인 실패가 관찰되었습니다.
멀티모달 대규모 언어 모델(MLLMs)은 시각화를 해석하는 데 점점 더 많이 사용되고 있지만, 현재의 평가는 대부분 차트 중심적이며 과학적 시각화(SciVis)에 대한 이해도가 제한적인 증거를 제공합니다. 우리는 표준화된 SciVis 리터러시 평가 테스트에서 6개의 MLLMs를 벤치마킹했습니다. 이 테스트는 18개의 과학적 시각화 및 일러스트레이션을 기반으로 하며, 8가지 기법과 11가지 작업 유형에 걸쳐 총 49개 항목을 포함합니다. 우리는 폐쇄형 환경 프로토콜 하에서 3개의 클로즈드 소스 모델과 3개의 오픈 소스 모델을 평가하고, 485명의 인간 참가자로부터 얻은 데이터를 사용하여 그 성능을 비교했습니다. 결과에 따르면 현재의 MLLMs는 균일한 SciVis 리터러시를 보이지 않습니다. Gemini가 전반적으로 가장 강력한 모델이었으며, 평가된 하위 집합 전반에서 인간 평균을 초과했지만, 오픈 소스 모델들은 여전히 인간 기준선보다 낮은 수준에 머물렀습니다. 성능은 기법과 작업 전반에 걸쳐 매우 불균일했습니다: 모델들은 과학적 일러스트레이션, 검색(search), 공간 이해(spatial understanding)에서는 가장 좋은 성능을 보였지만, 텍스처 기반 및 통합 기반 시각화와 정량적 추정(quantitative estimation)에서는 어려움을 겪었습니다. 오류 분석 결과는 미세한 정량적 추정, 흐름 방향 해석, 그리고 접지된 인코딩 해석에서 반복적인 실패가 있음을 보여줍니다. 이러한 발견은 SciVis 리터러시를 멀티모달 AI 시스템을 평가하기 위한 필수적인 벤치마크 차원으로 위치시킵니다. 우리의 코드와 모델 출력물은 https://github.com/patdmp/mllm-scivis-lit-benchmark에서 공개적으로 이용 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기