SURE-RAG: 선택적 RAG 응답을 위한 충분성과 불확실성 인식 증거 검증

요약

SURE-RAG는 검색 증강 생성(RAG)의 한계를 극복하기 위해 개발된 새로운 프레임워크로, 제공된 증거가 답변을 충분히 지지하는지 여부를 선택적으로 검증합니다. 이 시스템은 문서 수준의 점수를 넘어 공유 쌍 수준에서 주장-증거 관계를 분석하고, 커버리지, 관계 강도, 불일치, 충돌 등 세 가지 핵심 결정과 함께 해석 가능한 신뢰성 점수를 제공합니다. HotpotQA-RAG v3 벤치마크에서 높은 성능을 입증했으며, 기존의 강력하지만 감사하기 어려운 모델들보다 우수한 투명성과 안전성을 제공함을 보여줍니다.

핵심 포인트

• SURE-RAG는 RAG 응답에 대한 증거 충분성 검증(Evidence Sufficiency Verification)이라는 개념을 도입하여, 답변이 검색된 문서에 의해 확실하게 지지되는 경우에만 응답하도록 합니다.
• 시스템은 단순히 문서를 검색하는 것을 넘어, 공유 쌍 수준의 주장-증거 관계를 분석하고 이를 커버리지, 관계 강도, 불일치, 충돌 등 세 가지 해석 가능한 신호로 집계합니다.
• HotpotQA-RAG v3 벤치마크에서 높은 Macro-F1 점수(0.9075)를 달성하며, 기존의 GPT-4o 판사나 다른 복잡한 모델들보다 우수한 성능과 함께 완전한 감사 가능성을 제공합니다.
• SURE-RAG는 자연스러운 환각 감지(Hallucination Detection)와 구별되는 '통제된 충분성 검증'을 수행하며, 안전성과 투명성을 크게 향상시킵니다.