STEC: 오픈 도메인 다단계 질의응답을 위한 증거 압축
요약
본 논문은 오픈 도메인 다단계 질의응답(QA)에서 발생하는 복잡한 최종 답변 선택 문제를 해결하기 위한 'STEC' 프레임워크를 제안합니다. STEC는 검색 궤적을 직접 비교하는 대신, 후보별 증거 압축과 증거 기반 검증 메커니즘을 사용하여 신뢰성 높은 최종 답변을 선택할 수 있게 합니다.
핵심 포인트
- 다단계 QA의 핵심 문제는 여러 검색 궤적 간의 상충되는 정보 처리입니다.
- STEC는 원시 궤적 비교 대신 후보 수준의 '증거 압축'에 초점을 맞춥니다.
- 답변 수준 증거 압축과 증거 기반 답변 검증을 통해 최종 선택의 신뢰도를 높였습니다.
- 다양한 오픈 도메인 QA 벤치마크에서 STEC가 가장 우수한 성능을 입증했습니다.
오픈 도메인 다단계 질의응답(QA)에서, LLM 기반 검색 에이전트는 검색과 추론을 결합하여 지식 집약적 QA에 유망한 접근 방식을 제공합니다. 기존 방법들은 주로 추론 패러다임, 검색 상호작용, 검색 전략 최적화를 통해 오픈 도메인 다단계 QA를 개선해 왔습니다. 하지만 여러 검색 궤적(trajectories)을 사용하는 것은 까다로운 최종 답변 선택 문제를 야기합니다. 서로 다른 궤적은 서로 다른 후보들을 지지할 수 있으며, 검색된 정보는 이질적이거나, 중복되거나, 불완전하거나, 상충될 수 있습니다. 원시 궤적을 직접 비교하는 것은 검증자에게 노이즈가 많고 정렬되지 않은 콘텐츠를 노출시키며, 답변 문자열만 비교하는 것은 각 후보를 뒷받침하는 증거를 무시하여 신뢰할 수 있는 최종 선택을 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 우리는 다단계 QA의 최종 답변 선택을 위한 증거 압축 프레임워크인 STEC를 제안합니다. STEC는 두 가지 메커니즘을 통해 기존 후보 집합에서 최종 답변을 선택합니다: (1) 답변 수준 증거 압축(Answer-Level Evidence Compression)은 정규화된 답변 식별자별로 궤적들을 그룹화하고 각 답변 그룹을 후보별 증거 표현으로 변환하며, (2) 증거 기반 답변 검증(Evidence-Guided Answer Verification)은 이러한 표현들을 비교하여 후보 집합에서 최종 답변을 선택합니다. 이 설계는 최종 선택의 초점을 원시 궤적 비교에서 후보 수준 증거 비교로 전환합니다. 우리는 대표적인 기준 모델들과 네 가지 오픈 도메인 다단계 QA 벤치마크에서 STEC를 평가했습니다. 실험 결과는 STEC가 비교된 방법들 중 전반적으로 가장 좋은 성능을 보이며, 제거(ablation) 결과는 답변 수준 증거 압축이 최종 답변 선택에 기여한다는 증거를 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기