DV-World: 현실 세계 시나리오에서의 데이터 시각화 에이전트 평가

요약

본 논문은 실제 환경에서의 복잡한 데이터 시각화(Data Visualization, DV) 능력을 평가하기 위해 새로운 벤치마크인 DV-World를 제안합니다. 기존의 벤치마크들이 가진 코드 샌드박스 제한이나 단일 언어 작업에 국한된 한계를 극복하고자 했습니다. DV-World는 스프레드시트 조작(DV-Sheet), 데이터 적응 및 재구조화(DV-Evolution), 그리고 현실 세계의 모호한 요구사항을 다루는 능동적 의도 정렬(DV-Interact)이라는 세 가지 도메인을 포함하여 총 260개의 작업을 제공합니다. 실험 결과, 현존하는 최첨단 모델들이 실제 복잡한 데이터 시각화 과제 처리에서 심각한 성능 부족을 보였음을 입증하며, 기업 워크플로우에 필요한 현실적인 테스트베드를 제시합니다.

핵심 포인트

• DV-World는 네이티브 환경 기반, 크로스 플랫폼 진화, 능동적 의도 정렬 등 실제 데이터 시각화의 복잡성을 포괄하는 벤치마크이다.
• 세 가지 핵심 도메인(DV-Sheet, DV-Evolution, DV-Interact)을 통해 현실 세계의 다양한 워크플로우를 모사한다.
• 평가 프레임워크는 수치 정밀도 평가와 의미/시각적 이해도를 측정하는 MLLM-as-a-Judge 방식을 결합했다.
• 최신 모델들이 실제 데이터 시각화 과제에서 기대 이하의 성능을 보여, 해당 분야의 기술적 격차를 명확히 했다.