테이블 디코딩: 구조를 위한 DELTA, 이해를 위한 TARQA
요약
본 논문은 문서 지능의 핵심 과제인 테이블 이해를 위해, 기존 VLM 의존 방식보다 확장성이 높은 구조화된 텍스트 표현을 기반으로 하는 새로운 접근 방식을 제안합니다. 이를 위해 물리적/논리적 구조 인식과 OCR을 분리한 DELTA와 최적화된 테이블 구조 언어(OTSL)를 개발했습니다. 또한, 이 구조에 파인튜닝된 LLM인 TARQA를 소개하여 다양한 벤치마크에서 높은 성능 향상을 입증했습니다.
핵심 포인트
- DELTA는 물리/논리 구조 인식과 OCR을 분리하여 정확도를 높였습니다.
- OTSL은 간결하고 통일된 형식으로 테이블 정보를 인코딩합니다.
- TARQA는 OTSL 시퀀스에 파인튜닝되어 성능이 크게 향상되었습니다.
- 제안된 방법론은 다국어 환경에서도 강건성을 입증했습니다.
테이블 이해는 문서 지능(document intelligence)의 핵심 과제이며, 테이블 재구성(table reconstruction)과 테이블 시각 질의응답(table visual question answering, TabVQA)이라는 두 가지 주요 하위 과제를 포함합니다. 최근 접근 방식들은 주로 테이블 이미지에 작동하는 비전-언어 모델(vision-language models, VLMs)에 의존하지만, 우리는 구조화된 텍스트 표현을 기반으로 하는 더 확장 가능하고 효과적인 대안을 제안합니다. 이러한 표현은 처리하기가 더 쉽고, LLM과 더 자연스럽게 정렬되며, 언어별 시각 인코더(visual encoders)의 필요성을 제거하여 다국어 문서에 특히 적합합니다. 우리는 물리적 구조 인식, 논리적 구조 인식, OCR을 분리하여 레이아웃과 콘텐츠를 모두 정확하게 추출하는 DELTA를 제시합니다. DELTA는 셀 배열과 텍스트 콘텐츠를 인코딩하는 간결하고 통일된 형식인 최적화된 테이블 구조 언어(Optimised Table Structure Language, OTSL)로 테이블을 출력합니다. 테이블 구조 인식(table structure recognition, TSR)에서 DELTA는 FinTabNet, PubTabNet, 그리고 PubTables-1M 전반에 걸쳐 최고 수준의 방법론과 비교 가능한 TEDS-Structure 점수를 달성합니다. 나아가 우리는 자체 구축한 힌디어 벤치마크인 TORQUE를 통해 비영어권 테이블에서의 강건성을 확립합니다. 이를 기반으로, 우리는 OTSL 시퀀스에 파인튜닝된 LLM인 TARQA를 소개합니다. 우리의 접근 방식은 각각 WTQ (TabQA)에서 9.3 p.p., FinTabNetQA (TabVQA)에서 9.2 p.p.의 향상을 가져옵니다. TORQUE에서는 우리의 방법이 모든 VLM과 DELTA + LLM 변형 중 두 번째로 높은 순위를 차지합니다. 우리는 코드, 모델, 그리고 벤치마크를 다음 주소에 공개합니다: https://github.com/Tihiitborg/Tables-Decoded
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.LG (Machine Learning)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기