검색 증강 생성(RAG)을 위한 이중 신뢰도 대조 디코딩 (Dual-Confidence Contrastive Decoding)
요약
멀티 문서 RAG 환경에서 발생하는 문서 간 정보 충돌 문제를 해결하기 위한 새로운 디코딩 기법인 DCCD를 제안합니다. 문서 수준과 토큰 수준의 신뢰도를 결합하여 노이즈가 섞인 검색 결과에서도 정확한 답변을 생성하도록 돕습니다.
핵심 포인트
- 멀티 문서 RAG 내 컨텍스트 내부 충돌 문제 정의
- 기업용 딥 리서치 시나리오를 위한 DRQA 벤치마크 도입
- 훈련이 필요 없는 이중 신뢰도 대조 디코딩(DCCD) 제안
- 문서 및 토큰 수준의 신뢰도 결합을 통한 성능 최적화
- 기존 대조 디코딩 베이스라인 대비 우수한 성능 입증
검색 증강 생성 (Retrieval-augmented generation, RAG)은 모델이 검색된 여러 문서로부터 질문에 답해야 하는 상황을 점점 더 많이 요구하고 있습니다. 이때 일부 소스만이 관련이 있을 수 있으며, 검색된 묶음에는 오래되거나, 노이즈가 있거나, 혹은 상충하는 증거가 포함될 수 있습니다. 기존의 대조 디코딩 (contrastive decoding) 방법들은 주로 모델의 내부 메모리와 검색된 컨텍스트 (context) 사이의 충돌을 해결하는 데 집중합니다. 이와 대조적으로, 우리는 멀티 문서 RAG에서의 컨텍스트 내부 충돌 (intra-context conflict)이라는 상호 보완적인 문제를 연구합니다. 이 설정을 평가하기 위해, 우리는 기업용 딥 리서치 (deep-research) 시나리오에서 파생된 사실 충돌 질문 답변 벤치마크인 DRQA를 도입합니다. 여기서 답변은 모델의 내부 메모리로부터 복구할 수 없도록 설계된 합성된 기업 특화 사실들에 근거합니다. 나아가 우리는 훈련이 필요 없는 디코딩 방법인 이중 신뢰도 대조 디코딩 (Dual-Confidence Contrastive Decoding, DCCD)을 제안합니다. 이는 질문에 답하기에 문서가 충분한지 추정하는 문서 수준 신뢰도 (document-level confidence)와, 해당 문서가 확신 있는 다음 토큰 예측을 지원하는지 추정하는 토큰 수준 신뢰도 (token-level confidence)를 결합합니다. DCCD는 이러한 이중 신뢰도 신호를 사용하여 긍정적 및 부정적 문서 조건부 스트림 (document-conditioned streams)을 선택하고, 신뢰도 마진 (confidence margin)에 따라 문서 수준의 대조를 스케일링합니다. DRQA 및 표준 멀티 문서 QA 벤치마크 전반에 걸쳐, DCCD는 전체 컨텍스트 (full-context) 및 대조 디코딩 베이스라인들 사이에서 가장 우수한 평균 성능을 달성했으며, 특히 DRQA에서 가장 큰 성능 향상을 보였습니다. 이러한 결과는 검색된 증거가 내부적으로 충돌할 때, 소스 인식 및 신뢰도 게이트 디코딩 (source-aware, confidence-gated decoding)의 중요성을 강조합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기