DRAGON: 도표에 대한 증거 기반 시각적 추론을 위한 벤치마크

요약

DRAGON은 차트, 지도 등 구조화된 시각 자료에 대한 '증거 기반' 추론 능력을 평가하기 위해 개발된 새로운 벤치마크입니다. 기존의 비전-언어 모델(VLMs)들은 높은 정확도를 보이지만, 예측을 뒷받침하는 구체적인 시각적 증거를 식별하지 못하고 텍스트 상관관계에 의존하는 한계가 있었습니다. DRAGON은 주어진 질문과 정답에 대해 모델이 추론의 근거가 되는 경계 상자(bounding boxes)를 정확히 예측하도록 요구함으로써, 도표 해석의 신뢰성과 해석 가능성을 높이는 것을 목표로 합니다.

핵심 포인트

• DRAGON 벤치마크는 구조화된 시각 자료(차트, 지도 등)에 대한 증거 기반 추론 평가를 위해 설계되었습니다.
• 기존 VLM들은 높은 정답률에도 불구하고, 예측을 뒷받침하는 구체적인 시각적 근거 영역(bounding boxes) 식별 능력이 부족했습니다.
• DRAGON은 모델이 답을 정당화하는 데 필요한 모든 관련 시각적 요소(레이블, 축, 연결선 등)의 경계 상자를 예측하도록 요구합니다.
• 11,664개의 주석 처리된 질문 인스턴스를 포함하며, 인간 검증 기반의 테스트 세트와 표준 평가 프레임워크를 공개했습니다.