SEARCH-R: Multi-hop 질문 답변을 위한 체인-of-추론 내비게이터를 활용한 구조화된 엔티티 인식 검색
요약
본 논문은 다단계 추론이 필요한 복잡한 질문에 답하기 위한 새로운 프레임워크인 SEARCH-R을 제안합니다. SEARCH-R은 체인-of-추론 내비게이터를 활용하여 정확한 추론 경로를 생성하고, 구조화된 엔티티 인식 검색 방식을 도입하여 정보의 실질적인 유용성을 평가함으로써 기존 LLM 기반 QA 시스템의 한계를 극복합니다. 특히 Llama3.1-8B 모델을 미세 조정하여 하위 질문 분해 능력을 강화한 내비게이터와 의존성 트리 기반 검색 기법을 결합하여 높은 성능을 입증했습니다.
핵심 포인트
- SEARCH-R은 Multi-hop Question Answering (MHQA) 문제를 해결하기 위해 설계된 통합 프레임워크입니다.
- 체인-of-추론 내비게이터를 사용하여 추론 경로 생성의 정확성과 통제력을 높였습니다.
- 구조화된 엔티티 인식 검색(Structured Entity-Aware Retrieval)을 도입하여 정보의 실질적 유용성을 평가합니다.
- Llama3.1-8B 모델 기반의 하위 질문 분해기 및 의존성 트리 기반 검색 방식을 결합했습니다.
멀티홉 질문 답변 (MHQA) 은 다단계 추론이 필요한 질문에 답하는 것을 목표로 합니다. 이는 복잡한 사용자 쿼리에 대한 올바른 추론 경로를 생성하고, 대형 언어 모델 (LLMs) 의 잠재적 한계에도 불구하고 필수 지식을 정확하게 검색한다는 두 가지 주요 과제를 제시합니다. 기존 접근법은 주로 프롬프트 기반 방법을 사용하여 추론 경로를 생성하며, 이를 전통적인 희소 또는 밀집 검색과 결합하여 최종 답변을 도출합니다. 그러나 추론 경로의 생성은 일반적으로 생성 과정에 대한 효과적인 통제를 결여하여 추론을 오도하게 됩니다. 또한, 검색 방법은 정보의 실용적 유용성을 평가하기보다 지식 매칭이나 유사성 점수에 지나치게 의존하여 동질적이거나 유용하지 않은 정보를 검색하는 결과를 초래합니다. 따라서 우리는 구조화된 엔티티 인식 검색 (Structured Entity-Aware Retrieval) 과 체인-of-추론 내비게이터 (Chain-of-Reasoning Navigator) 를 갖춘 프레임워크인 SEARCH-R 을 제안합니다. 구체적으로, SEARCH-R 은 Llama3.1-8B 모델을 미세 조정하여 강력한 하위 질문 분해기 (sub-question decomposer) 를 제공할 수 있는 엔드투엔드 추론 경로 내비게이터를 학습시킵니다. 또한, 문서의 정보 기여도를 정량적으로 평가하기 위해 새로운 의존성 트리 기반 검색 (dependency tree-based retrieval) 이 설계되었습니다. 제안된 프레임워크의 효과성은 세 가지 난이도 높은 멀티홉 데이터셋에 대한 광범위한 실험을 통해 검증되었습니다. 코드와 데이터셋은 다음 주소에서 구할 수 있습니다: https://github.com/Applied-Machine-Learning-Lab/ACL2026_SEARCH-R.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기