Contexts are Never Long Enough: Structured Reasoning for Scalable Question Answering over Long Document Sets

요약

본 논문은 방대한 문서 컬렉션에 대한 질문 답변(QA)의 어려움을 해결하기 위해 SLIDERS라는 새로운 프레임워크를 제안합니다. 기존 방식이 직면하는 집계 병목 현상을 극복하고자, SLIDERS는 핵심 정보를 관계형 데이터베이스로 추출하여 SQL을 통한 구조화된 상태 추론을 가능하게 합니다. 또한 출처, 근거, 메타데이터 기반의 데이터 조정 단계를 도입하여 불일치하고 중복되는 기록을 효과적으로 처리함으로써 기존 벤치마크에서 최고 성능을 달성했습니다.

핵심 포인트

• 대규모 문서 컬렉션 QA는 LLM 컨텍스트 창 한계와 집계 병목 현상이라는 문제를 안고 있다.
• SLIDERS 프레임워크는 추출된 정보를 관계형 데이터베이스로 구조화하여 SQL 기반의 확장 가능한 추론을 수행한다.
• 데이터 조정(Data Reconciliation) 단계를 도입하여 출처, 근거, 메타데이터를 활용해 정보의 일관성과 정확성을 높인다.
• 새로운 벤치마크에서 기존 최고 성능 모델 대비 현저히 높은 점수를 기록하며 우수성을 입증했다.