기관 문서의 데이터 스냅샷 추출을 위한 오픈 소스 레이아웃 탐지 모델 벤치마킹

기관 문서(Institutional documents)에는 그림(figures)과 표(tables) 내에 내장된 상당한 양의 운영 및 분석 정보가 포함되어 있습니다. 문서에서 시각적 콘텐츠를 추출하는 현재의 접근 방식은 주로 일반적인 문서 레이아웃 분석(document layout analysis)을 중심으로 구축되어 있으며, 여기서 그림과 표는 의미론적으로 유의미한 분석적 산물(analytical artifacts)이라기보다는 균일하게 관련 있는 문서 객체로 취급됩니다. 본 연구에서는 기관 문서 내에서 의미론적으로 유의미한 시각적 산물을 식별하고 위치를 지정하는 작업인 데이터 스냅샷 추출(data snapshot extraction)을 위한 벤치마크 데이터셋과 평가 프레임워크를 소개합니다. 이 벤치마크는 인도주의적 보고서, World Bank 정책 연구 워킹 페이퍼(policy research working papers), 그리고 프로젝트 평가 문서(project appraisal documents)를 아우르며, 재사용 가능한 분석 정보를 포함하는 그림과 표에 대한 주석(annotations)을 포함합니다. 이 데이터셋을 사용하여 우리는 여러 오픈 소스 레이아웃 탐지(layout detection) 모델을 벤치마킹하였으며, 탐지 성능과 공간적 추출 품질을 모두 평가했습니다. 연구 결과에 따르면, 현재의 모델들은 기존의 학술적 벤치마크에서는 강력한 성능을 보임에도 불구하고 운영 목적의 기관 문서로 일반화하는 데 어려움을 겪는 것으로 나타났습니다. 일반적인 실패 모드(failure modes)로는 분석적 콘텐츠와 비분석적 콘텐츠 간의 혼동, 복합적인 분석적 산물의 파편화, 그리고 해석에 필요한 문맥 정보(contextual information)의 불완전한 추출 등이 있습니다. 이러한 발견은 일반적인 문서 레이아웃 분석과 운영 측면에서 유용한 데이터 스냅샷 추출 사이의 지속적인 격차를 강조합니다. 우리는 운영 문서 지능(operational document intelligence) 분야의 향후 연구를 지원하기 위해 소스 PDF, 주석 데이터셋, 메타데이터 및 소스 코드를 공개합니다. 데이터셋은 https://huggingface.co/datasets/ai4data/data-snapshot 에서 확인할 수 있으며, 소스 코드는 https://github.com/worldbank/ai4data/tree/main/experimental/data-snapshot 에서 확인할 수 있습니다.