HPD-Parsing: 계층적 병렬 문서 파싱 (Hierarchical Parallel Document Parsing). 우리는 계층적 병렬 디코딩 (Hierarchical Parallel Decoding) 패러다임을 기반으로 구축된 경량(1B) 및 고처리량(high-throughput) 문서 파싱 모델인 HPD-Parsing을 소개합니다. 통합된 VLM 기반 파서들은 전체 페이지를 공동으로 처리하지만, 단일 토큰 단위의 자기회귀 (autoregressive) 궤적을 통해 출력을 생성하므로 문서 길이에 따라 증가하는 순차적 병목 현상 (sequential bottleneck)을 발생시킵니다. HPD-Parsing은 문서 파싱의 핵심적인 특성에서 영감을 얻었습니다. 즉, 페이지 구조는 전역적인 조정 (global coordination)을 필요로 하는 반면, 콘텐츠 생성은 개별 영역 내에서 주로 국지적으로 이루어진다는 점입니다. 이러한 관찰을 바탕으로, 메인 레이아웃 브랜치 (main layout branch)가 전역적인 문서 구조를 조정하고 국지적인 콘텐츠 생성을 병렬 브랜치들로 동적으로 배정하며, 점진적 다중 토큰 예측 (Progressive Multi-Token Prediction, P-MTP)은 각 브랜치 내의 디코딩 단계를 더욱 줄여줍니다. HPD-Parsing은 OmniDocBench v1.6에서 94.91%의 종합 점수를 달성하여 엔드투엔드 (end-to-end) 통합 파서 중 새로운 SOTA (state of the art)를 기록했으며, 동시에 4,752 TPS의 최대 처리량에 도달했습니다. 이는 기존의 가장 빠른 문서 파서보다 2.62배, 자체 자기회귀 (autoregressive) 베이스라인보다 3.06배 빠른 속도입니다. HPD-Parsing의 주요 역량 🚀 고처리량 문서 파싱을 위한 계층적 병렬 디코딩 (Hierarchical Parallel Decoding): 우리는 전체 페이지의 자기회귀 (autoregressive) 생성을 전역적으로 조정된 국지적 병렬 디코딩으로 재구성하는 새로운 디코딩 패러다임인 계층적 병렬 디코딩 (HPD)을 소개합니다. 메인 레이아웃 브랜치는 전역 조정을 수행하고 기존의 단일 디코딩 궤적을 각각 국지적인 문서 영역을 담당하는 병렬 콘텐츠 브랜치들로 동적으로 분해합니다. 각 브랜치 내에서 P-MTP는 매 반복마다 미래의 여러 토큰을 예측함으로써 디코딩 단계의 수를 더욱 줄여줍니다. 공유 접두사 KV 캐시 재사용 (shared-prefix KV cache reuse)과 결합하여, HPD는 브랜치 및 토큰 차원 모두에서 유효한 순차적 디코딩 경로를 실질적으로 단축합니다.

🔄 자동화된 난이도 인지 데이터 큐레이션 (Automated Difficulty-Aware Data Curation)을 통한 단계적 적응 (Staged Adaptation): 우리는 기존의 자기회귀 (Autoregressive) 문서 파싱 능력을 파싱 정확도를 유지하면서도 제안된 계층적 병렬 디코딩 (Hierarchical Parallel Decoding) 패러다임으로 전이시키는 단계적 적응 전략을 개발했습니다. 이 전략은 대규모 데이터 수집, 모델 보조 주석 (Model-assisted Annotation), 난이도 추정 (Difficulty Estimation), 그리고 균형 잡힌 샘플링 (Balanced Sampling)이 통합된 자동화된 난이도 인지 데이터 큐레이션 파이프라인에 의해 지원됩니다. 모델을 점진적으로 적응시키고 까다로운 샘플을 강조함으로써, 이 학습 프레임워크는 최소한의 수동 주석 노력으로 병렬 디코딩으로의 전환에서 발생하는 정확도 저하를 완화합니다.

⚡ 경쟁력 있는 파싱 정확도와 함께 달성한 최첨단 처리량 (State-of-the-Art Throughput): HPD-Parsing은 OmniDocBench v1.6에서 초당 4,752 토큰 (4,752 Tokens Per Second, TPS)의 최대 처리량에 도달하며 최첨단 추론 효율성을 달성했습니다. 이는 경쟁력 있는 파싱 정확도를 유지하면서도, 기존의 가장 빠른 문서 파싱 모델보다 1.62배, 자기회귀 (Autoregressive) 베이스라인 모델보다 3.06배 이상의 처리량을 제공합니다. 이러한 결과는 문서 파싱이 단일 순차적 생성 경로가 아닌, 전역 레이아웃 조정 (Global Layout Coordination)과 국소적 병렬 디코딩 (Localized Parallel Decoding)을 통해 효과적으로 수행될 수 있음을 입증합니다. submitted by /u/pmttyji [link] [comments]