대규모 문서 컬렉션 탐색: 다문서 분석적 QA를 위한 MuDABench

요약

본 논문은 대규모 반정형 문서 컬렉션에서 복잡한 분석적 질문에 답하기 위한 새로운 벤치마크인 MuDABench를 소개합니다. 이 벤치마크는 여러 문서를 가로지르는 광범위한 정보 추출, 종합 및 정량적 분석을 요구하며, 기존의 제한적인 다문서 QA 방식과 차별화됩니다. 연구진은 표준 RAG 시스템의 한계를 극복하기 위해 계획-추출-코드 생성 모듈을 오케스트레이션하는 다중 에이전트 워크플로우를 제안했으며, 이는 성능 향상을 보였으나 여전히 인간 전문가 수준에는 미치지 못함을 분석했습니다.

핵심 포인트

• MuDABench는 대규모 반정형 문서 컬렉션을 대상으로 하는 다문서 분석적 QA 벤치마크이다.
• 이 벤치마크는 단순한 정보 추출을 넘어, 광범위한 문간 분석 및 정량적 집계를 요구한다.
• 표준 RAG 시스템은 이러한 복잡한 분석 과제에서 성능 한계를 보인다.
• 성능 개선을 위해 계획(planning), 추출(extraction), 코드 생성(code generation) 모듈을 결합한 다중 에이전트 워크플로우가 제안되었다.
• 현재의 주요 병목 현상은 단일 문서 정보 추출 정확도와 도메인 특화 지식 부족이다.