Faithfulness-QA: 컨텍스트 충실한 RAG 모델 학습을 위한 반사실적 엔티티 치환 데이터셋

검색 증강 생성 (Retrieval-Augmented Generation, RAG) 모델은 종종 검색된 컨텍스트 대신 파라메트릭 메모리 (parametric memory) 에 기반하여 답변을 생성함으로써, 검색 증강의 핵심 약속을 훼손합니다. 이러한 불충실함 (unfaithfulness) 을 해결하는 데 있어 근본적인 장벽은 모델이 내부 지식을 컨텍스트보다 우선시하도록 명시적으로 요구하는 학습 데이터의 부재입니다. 우리는 반사실적 엔티티 치환 (counterfactual entity substitution) 을 통해 구축된 99,094 개의 샘플로 구성된 대규모 데이터셋인 Faithfulness-QA 를 소개합니다. 두 가지 확립된 추출형 QA 벤치마크인 SQuAD 와 TriviaQA 에서 시작하여 각 컨텍스트 내의 답변을 담고 있는 명명 엔티티 (named entities) 를 자동으로 식별한 후, 76,953 개의 엔티티로 구성된 큐레이션된 은행에서 유형과 일치하는 대안으로 치환합니다. 이를 통해 컨텍스트와 파라메트릭 메모리 사이의 통제된 지식 충돌을 유발합니다. 엄격한 품질 필터링을 통해 무작위 200 샘플 감사에서 네 가지 자동화 검사 모두 100% 통과율을 확보했습니다. 우리는 전체 데이터셋, 구축 파이프라인 및 명명 엔티티 8 개 범주를 포괄하는 유형화된 엔티티 은행을 공개합니다. Faithfulness-QA 는 주의 기반 충실도 목표 (attention-based faithfulness objectives) 를 위한 학습 자원으로서, 그리고 RAG 시스템의 컨텍스트 기반화 행동 (context-grounding behavior) 을 측정하기 위한 평가 벤치마크로서 설계되었습니다. 데이터와 코드는 https://github.com/qzhangFDU/faithfulness-qa-dataset 에서 이용 가능합니다.