EviScope: 충실하고 효율적인 근거 기반 언어 모델을 위한 쌍별 반사실적 증거 진단

요약

본 글은 언어 모델의 답변 정확도만으로는 부족한 근거 기반 시스템의 한계를 지적하며, 'EviScope'라는 쌍별 반사실적 벤치마크를 제안합니다. EviScope는 질문을 고정한 채 증거를 조작하여 모델이 어떤 방식으로 작동하는지 심층적으로 진단합니다. 이를 통해 답변 정확도 뒤에 숨겨진 근거 기반 행동 패턴을 노출하고, 단순히 정답 여부를 넘어선 시스템의 신뢰성을 평가할 수 있게 합니다.

핵심 포인트

• EviScope는 쌍별 반사실적 벤치마크로, 증거 조작을 통해 모델 작동 방식을 진단합니다.
• 모델이 근거 부족, 모순 무시 등 취약점을 보이는 행동 패턴을 노출합니다.
• RAG 시스템에서 명시적인 증거-행동 게이트가 항상 우월하지 않음을 보여줍니다.
• 답변 정확도 외에 충돌 처리 능력과 근거 기반 행동 분석의 중요성을 강조합니다.