Unlimited OCR Works 2

원문 발행 2026. 10. 29. 12:55원문 언어 영어AI 한국어 번역arXiv cs.CL 원문 보기

요약

Unlimited OCR 2는 장문서 파싱 시 발생하는 계산 비용 증가 문제를 해결하기 위해 개발되었습니다. 이전 페이지 재스캔 없이 국소적 초점을 유지하는 방식으로, 모든 디코더 어텐션 모듈을 Sparse Reference Sliding Window Attention (SR-SWA)으로 업그레이드했습니다. 이를 통해 문서 길이와 관계없이 일정한 계산 비용을 유지하며 사실상 무한한 파싱이 가능합니다.

핵심 포인트

장문서 파싱 시 발생하는 계산 비용 증가 문제를 해결함.
SR-SWA를 적용하여 활성 참조 토큰 용량을 고정화했습니다.
백 페이지 규모에서 Full Attention 대비 7.0배의 속도 향상을 달성했습니다.
MPDocBench와 MarathonDocBench 모두에서 SOTA 성능을 제공합니다.

Unlimited OCR은 장기 지평(long-horizon) 파싱 시대를 열었으며, 문서가 길어짐에 따라 작업 기억(working memory)의 증가를 크게 완화합니다. 하지만 문서 길이가 수백 페이지로 확장됨에 따라 시각적 컨텍스트(visual context)가 크게 증가하여 각 디코딩 단계의 계산 비용을 급격히 높이고 초장문서 파싱의 확장성을 제한합니다.

이전 페이지를 재스캔하지 않고 국소적 초점(localized focus)을 통해 책을 필사하는 인간의 방식에서 영감을 받아, 우리는 자신이 전사하는 내용만을 보는 문서 파싱 모델인 Unlimited OCR 2를 소개합니다. Unlimited OCR을 기반으로, 우리는 모든 디코더 어텐션 모듈(decoder attention modules)을 Sparse Reference Sliding Window Attention (SR-SWA)으로 업그레이드하여 활성 참조 토큰(active reference tokens)을 고정된 용량으로 제한하고, 따라서 임의로 긴 문서 전반에 걸쳐 일정한 계산 비용을 유지합니다.

SR-SWA를 Unlimited-Horizon Decoding Paradigm과 결합함으로써, Unlimited OCR 2는 막대한 메모리 오버헤드 없이 사실상 무한한 길이의 문서 파싱을 가능하게 합니다. 백 페이지 규모에서, Unlimited OCR 2는 각각 Full Attention과 R-SWA 대비 단계당 7.0$ imes$ 및 5.6$ imes$의 속도 향상을 달성합니다. 또한, 이는 백 페이지 문서 파싱을 목표로 새롭게 제안된 벤치마크인 MPDocBench와 MarathonDocBench 모두에서 최첨단(state-of-the-art) end-to-end 성능을 제공합니다.

궁극적으로, 중단 없는 원샷(one-shot) 문서 파싱 능력은 OCR 3.0 시대로의 근본적인 패러다임 전환을 의미합니다.

AI 자동 생성 콘텐츠

원문 바로가기

Unlimited OCR Works 2

요약

핵심 포인트

댓글