FinSAgent: 증거 기반 SEC 공시 질의응답을 위한 코퍼스 정렬형 멀티 에이전트 RAG 프레임워크
요약
SEC 공시 자료의 특수성을 고려하여 코퍼스 불일치 문제를 해결하는 멀티 에이전트 RAG 프레임워크 FinSAgent를 제안합니다. 데이터베이스 인식 쿼리 분해와 특징 게이트형 재순위화기를 통해 검색 정확도와 답변 품질을 높였습니다.
핵심 포인트
- SEC 공시 자료의 구조적 특성에 맞춘 코퍼스 정렬형 검색 계획 도입
- 역할 특화 에이전트와 데이터베이스 인식 쿼리 분해 기술 적용
- 의미적 유사성과 증거 유효성을 분리하는 재순위화 기술 활용
- 금융 QA 벤치마크 및 사용자 평가에서 기존 모델 대비 우수한 성능 입증
미국 증권거래위원회 (SEC) 공시 자료를 대상으로 하는 금융 질의응답 (Question Answering, QA)은 길고 표준화되어 있으며 중복성이 매우 높은 공시 내용 전반에 흩어져 있는 이질적인 증거들을 검색하고 합성해야 합니다. 기존의 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 및 멀티 에이전트 (Multi-agent) 시스템은 일반적으로 사용자의 질문에서 직접 검색 쿼리를 도출하고 의미적 유사성 (Semantic similarity)에 따라 후보를 순위 매깁니다. 이러한 선택들은 결합되어 코퍼스 불일치 (Prior-corpus misalignment) 문제를 야기합니다. 즉, 모델의 사전 지식 (Model priors)과 대상 공시 자료의 구조, 용어 및 증거 표준 사이의 불일치가 발생합니다. 그 결과, 쿼리 생성 단계에서는 코퍼스 특화된 증거를 놓치게 되며, 의미적 재순위화 (Semantic reranking) 단계에서는 주제적으로는 유사하지만 증거로서 유효하지 않은 거짓 양성 (False-positive) 청크 (Chunk)를 선호하게 됩니다.
우리는 SEC 공시 QA를 코퍼스 정렬형 검색 계획 (Corpus-aligned retrieval planning)으로 재구성하고, 모델의 사전 지식이 지배할 수 있는 모든 곳에 코퍼스 측 조건화 (Corpus-side conditioning)를 주입한다는 단일 원칙으로 양 끝단을 교정하는 증거 기반 멀티 에이전트 프레임워크인 FinSAgent를 제안합니다. FinSAgent는 (1) 규정된 10-K 항목 구조에 고정된 역할 특화 에이전트 (Role-specialized agents), (2) 각 에이전트의 하위 쿼리를 로컬 코퍼스의 경량화된 요약 수준 뷰에 조건화하는 데이터베이스 인식 쿼리 분해 (Database-aware query decomposition), 그리고 (3) 증거의 유효성을 의미적 유사성과 분리하는 학습된 특징 게이트형 재순위화기 (Feature-gated reranker)를 이용한 다중 경로 검색을 결합합니다. 5개의 오프라인 금융 QA 벤치마크 전반에 걸쳐, FinSAgent는 강력한 단일 에이전트 및 멀티 에이전트 베이스라인 모델보다 검색 범위와 답변 정확도를 향상시켰으며, 1,000개의 익명 사용자 평가를 포함한 3개 그룹 무작위 온라인 실험에서도 베이스라인보다 높은 점수를 받았습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기