Faithfulness-QA: 컨텍스트 충실한 RAG 모델 학습을 위한 반사실적 엔티티 치환 데이터셋

요약

본 논문은 RAG 모델이 검색된 컨텍스트 대신 내부 파라메트릭 메모리에 의존하여 답변을 생성하는 '불충실함(unfaithfulness)' 문제를 해결하기 위해 Faithfulness-QA라는 대규모 데이터셋을 제안합니다. 이 데이터셋은 SQuAD와 TriviaQA 같은 기존 QA 벤치마크에서 명명 엔티티를 식별하고, 이를 유형에 맞는 가짜(counterfactual) 엔티티로 치환하여 구축되었습니다. 이러한 과정을 통해 모델이 컨텍스트 기반의 답변 생성 능력을 학습하도록 유도하며, 이는 RAG 시스템 평가 및 학습 자원으로 활용될 수 있습니다.

핵심 포인트

• RAG 모델의 핵심 문제인 '불충실함(unfaithfulness)'을 해결하기 위한 새로운 접근 방식을 제시합니다.
• Faithfulness-QA는 기존 QA 벤치마크에서 명명 엔티티를 식별하고, 이를 유형에 맞는 반사실적 엔티티로 치환하여 구축된 대규모 데이터셋입니다.
• 이 데이터셋은 모델에게 컨텍스트와 내부 지식 간의 '통제된 지식 충돌'을 유발하도록 설계되어, 컨텍스트 기반 답변 생성을 강제합니다.
• Faithfulness-QA는 학습 자원(attention-based faithfulness objectives)뿐만 아니라 RAG 시스템 평가 벤치마크로도 활용 가능합니다.