SURE-RAG: 선택적 RAG 응답을 위한 충분성과 불확실성 인식 증거 검증
요약
SURE-RAG는 검색 증강 생성(RAG)의 한계를 극복하기 위해 개발된 새로운 프레임워크로, 제공된 증거가 답변을 충분히 지지하는지 여부를 선택적으로 검증합니다. 이 시스템은 문서 수준의 점수를 넘어 공유 쌍 수준에서 주장-증거 관계를 분석하고, 커버리지, 관계 강도, 불일치, 충돌 등 세 가지 핵심 결정과 함께 해석 가능한 신뢰성 점수를 제공합니다. HotpotQA-RAG v3 벤치마크에서 높은 성능을 입증했으며, 기존의 강력하지만 감사하기 어려운 모델들보다 우수한 투명성과 안전성을 제공함을 보여줍니다.
핵심 포인트
- SURE-RAG는 RAG 응답에 대한 증거 충분성 검증(Evidence Sufficiency Verification)이라는 개념을 도입하여, 답변이 검색된 문서에 의해 확실하게 지지되는 경우에만 응답하도록 합니다.
- 시스템은 단순히 문서를 검색하는 것을 넘어, 공유 쌍 수준의 주장-증거 관계를 분석하고 이를 커버리지, 관계 강도, 불일치, 충돌 등 세 가지 해석 가능한 신호로 집계합니다.
- HotpotQA-RAG v3 벤치마크에서 높은 Macro-F1 점수(0.9075)를 달성하며, 기존의 GPT-4o 판사나 다른 복잡한 모델들보다 우수한 성능과 함께 완전한 감사 가능성을 제공합니다.
- SURE-RAG는 자연스러운 환각 감지(Hallucination Detection)와 구별되는 '통제된 충분성 검증'을 수행하며, 안전성과 투명성을 크게 향상시킵니다.
검색 증강 생성 (RAG) 은 검색된 문서를 바탕으로 답변을 제시하지만, 검색은 검증이 아닙니다. 문서는 주제와 관련이 있을 수 있지만 여전히 답변을 정당화하지 못할 수 있습니다. 우리는 이를 선택적 RAG 응답의 증거 충분성 검증으로 정의합니다: 질문, 후보 답변, 검색된 증거가 주어졌을 때, 해당 증거가 답변을 지지하거나 반박하거나 또는 불충분한지 예측하고, 지원이 확립되지 않는 한 회피합니다.
우리는 SURE-RAG를 제시합니다. 이는 증거 충분성이 집합 수준의 속성임을 관찰하여 구축된 투명한 집계 프로토콜입니다. 누락된 연결과 해결되지 않은 충돌은 독립적인 문서 점수로 감지할 수 없습니다. 공유 쌍 수준 주장-증거 검증기는 지역적 관계 분포를 생성하며, SURE-RAG 는 이를 해석 가능한 답변 수준 신호로 집계합니다 -- 커버리지, 관계 강도, 불일치, 충돌, 검색 불확실성 -- 세 가지 결정을 내리고 검증 가능한 선택적 점수를 제공합니다.
우리는 HotpotQA-RAG v3 를 평가했습니다. 이는 통제된 멀티 홉 벤치마크이며, 아티팩트 인식 프로토콜 (단축 기저선, 반례 스왑, 오라클 없음 체크, GPT-4o 감사) 하에서 수행되었습니다. 교정된 SURE-RAG 는 0.9075 Macro-F1 점수를 달성했습니다 (0.8951 +/- 0.0069), 이는 DeBERTa 평균 풀링 (0.6516) 과 GPT-4o 판사 (0.7284) 보다 현저히 높으며, 강력한 그러나 불투명한 concat 크로스 엔코더 (0.8888 +/- 0.0109) 와 일치합니다. 완전한 감사 가능성을 제공합니다.
30% 커버리지에서 리스크는 0.2588 에서 0.1642 로 감소하여, 위험한 답변의 37% 감소입니다. 임의적으로 작업 경계를 탐구하기 위해, 우리는 HaluBench 안전성 감지와 SURE-RAG 를 GPT-4o 와 비교했습니다: 순위가 반전되었습니다 (0.3343 vs 0.7389 unsafe-F1), 통제된 충분성 검증과 자연스러운 환각 감지는 다른 문제임을 확립합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기