EpiCurveBench: 유행 곡선 디지털화에 대한 VLM 평가

시각-언어 모델 (VLMs)을 이용한 차트-데이터 추출 (Chart-to-data extraction)은 점차 성능 향상의 여지가 줄어드는 벤치마크(frontier VLMs가 ChartQA에서 89%를 초과함)와, 추출된 지점들을 순서가 없는 키-값 쌍 (key-value pairs)으로 취급하여 시계열 (time series)의 시간적 구조를 무시하고 미세한 정렬 변화를 치명적인 실패로 간주하는 지표들을 통해 점점 더 많이 평가되고 있습니다. 우리는 다양한 공중 보건 소스에서 선별한 1,000개의 실제 유행 곡선 (epidemic curve) 이미지로 구성된 벤치마크인 EpiCurveBench와, 동적 계획법 (dynamic programming)을 통해 예측된 시리즈와 정답 (ground-truth) 시리즈를 정렬하여 국소적인 시간적 이동과 간격을 허용하면서도 이에 비례하여 페널티를 부여하는 평가 지표인 EpiCurveSimilarity (ECS)를 통해 이 두 가지 격차를 해결합니다. 세 가지 frontier 폐쇄형 VLMs, 한 가지 오픈 VLM, 그리고 두 가지 특화된 차트 추출 시스템 등 총 6가지 방법을 평가한 결과, 가장 강력한 모델이 ECS 기준 52.3%에 불과하다는 것을 발견했으며, 키-값 지표 (RMS, SCRM)가 네 가지 범용 VLMs를 5포인트 범위 내로 압축하는 반면 ECS는 이들을 25포인트 범위로 분산시킴을 확인했습니다. 우리는 나아가 네 가지 다운스트림 역학 요약 통계량에 대해 ECS를 검증하였으며, 높은 ECS가 총계 (total counts), 정점 시기 (peak timing), 정점 크기 (peak magnitude)에서의 더 작은 오차와 더 높은 성장률 충실도 (growth-rate fidelity)를 예측한다는 것을 발견했습니다. 이 네 가지 모두에서 ECS는 Dynamic Time Warping (DTW)보다 1.5~3.6배 더 강력한 상관관계를 보였는데, DTW는 간격 페널티 (gap penalty)가 없어 잘려나간 예측값과 시간적으로 충실한 예측값을 구분할 수 없기 때문입니다. EpiCurveBench는 출판된 도표 속에 갇혀 있는 수십 년간의 발병 데이터를 해제하는 것과 같은 영향력이 큰 공중 보건 응용 분야를 목표로 하지만, 이 벤치마크와 지표는 구조화된 시계열 차트 추출 설정 전반에 직접 적용될 수 있습니다.