PlotGround: 실제 과학 논문 및 원본 데이터에서 플롯 디지털화 구현

과학 논문의 그림들은 종종 기계가 읽을 수 있는 형태로 쉽게 접근할 수 없는 정량적 결과를 담고 있어, 출판된 연구 결과를 검증하고 재사용하는 데 정확한 플롯 디지털화(plot digitization)가 중요합니다. 하지만 현재 모델들이 실제 과학 논문에서 얼마나 정확하게 플롯된 값을 복구하는지에 대해서는 여전히 불분명하며, 기존 벤치마크들은 주로 합성 차트에 의존하거나 제한적인 범위의 차트 유형만을 다루고 있습니다. 우리는 실제 과학 논문과 그 저자가 공개한 원본 데이터를 활용하여 플롯 디지털화 벤치마크를 구축하는 자동화된 파이프라인인 PlotGround를 소개합니다. PlotGround는 그림을 원본 테이블에 매핑하고, 재구성 가능한 패널을 식별하며, 원본 데이터 기반의 참조 값을 가진 정량적 질문을 생성합니다. 우리는 PlotGround를 사용하여 1,066개의 bioRxiv 사전 인쇄 논문에서 추출한 1,119개의 질문으로 구성된 인간 검증 벤치마크인 PlotGround-1k를 구축했습니다. 16개 모달리티 모델에 걸쳐, 최고 정확도는 $ ext{tolerance}$가 $ ext{\pm }5%$ 상대 오차 허용 범위일 때 $87.5%$에 달합니다. 이 허용 범위를 $ ext{\pm }2%$로 강화하면 모든 모델의 정확도가 11~24 퍼센트 포인트 하락하는 것으로 나타나, 근사적인 시각적 판독과 정밀한 정량적 복구 사이에 격차가 있음을 보여줍니다. PlotGround의 그림-원본 쌍 구조는 동일한 값이 그림에서 복구되는 정확도와 원본 테이블에서 복구되는 정확도를 비교할 수 있게 해줍니다. 그림 대신 원본 테이블을 제공하는 것은 코딩 에이전트의 정확도를 $90.0%$에서 $97.4%$로 높이는 동시에 비용을 $72%$ 절감합니다.