Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LLM의 파라미터 메모리와 검색된 증거 간의 충돌을 해결하기 위한 새로운 중재 방식인 TrustMargin을 제안합니다. 추가 학습 없이 모델의 가능도를 활용하여 직접 답변과 RAG 답변 중 더 신뢰할 수 있는 소스를 선택합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기대규모 언어 모델(Large Language Models, LLMs)은 파라미터 메모리(Parametric Memory)와 검색된 증거(Retrieved Evidence)를 모두 사용하여 지식 집약적인 질문에 답하지만, 두 소스 모두 일관되게 신뢰할 수 있는 것은 아닙니다. 검색(Retrieval)은 지식의 공백을 메울 수 있지만, 주의를 분산시키는 구절(distracting passages)이 올바른 폐쇄형(closed-book) 답변을 무시할 수도 있습니다. 우리는 이러한 생성 후의 충돌을 답변 수준의 소스 중재(answer-level source arbitration)로 연구합니다. 즉, 동일한 동결된 모델(frozen model)로부터 얻은 직접 답변(Direct answer)과 RAG 답변(RAG answer)이 주어졌을 때, 어떤 소스를 신뢰할지 결정하는 것입니다. 우리는 모델 자체의 가능도(likelihoods)를 사용하여 기존의 두 후보에 점수를 매기는, 훈련이 필요 없는 플러그 앤 플레이(plug-and-play) 방식의 중재 레이어인 TRUSTMARGIN을 제안합니다. 이는 메모리가 검색된 답변을 수용하는지 테스트하는 파라미터 사전 확률 마진(parametric-prior margin)과, 구절만의 돌출성(salience)을 배제하고 질문 특화적 지지도를 측정하는 증거 결합 마진(evidence-binding margin)을 결합합니다. TRUSTMARGIN은 미세 조정(fine-tuning), 외부 판사(external judges), 또는 추가적인 생성 없이도 직접 답변과 RAG 답변 사이를 선택합니다. 세 가지 LLaMA 규모를 사용한 2WIKIMQA 및 CWQA 데이터셋 전반에 걸쳐, TRUSTMARGIN은 직접 생성(Direct generation) 및 BM25-RAG보다 일관되게 성능을 향상시키며, Direct/RAG 오라클(oracle) 격차의 일부를 회복하고, 여러 훈련이 필요 없는 RAG 파이프라인으로 일반화됩니다.