TrustMargin: 대규모 언어 모델(LLM)에서 파라미터 메모리(Parametric Memory)와 검색된 증거(Retrieved

대규모 언어 모델(Large Language Models, LLMs)은 파라미터 메모리(Parametric Memory)와 검색된 증거(Retrieved Evidence)를 모두 사용하여 지식 집약적인 질문에 답하지만, 두 소스 모두 일관되게 신뢰할 수 있는 것은 아닙니다. 검색(Retrieval)은 지식의 공백을 메울 수 있지만, 주의를 분산시키는 구절(distracting passages)이 올바른 폐쇄형(closed-book) 답변을 무시할 수도 있습니다. 우리는 이러한 생성 후의 충돌을 답변 수준의 소스 중재(answer-level source arbitration)로 연구합니다. 즉, 동일한 동결된 모델(frozen model)로부터 얻은 직접 답변(Direct answer)과 RAG 답변(RAG answer)이 주어졌을 때, 어떤 소스를 신뢰할지 결정하는 것입니다. 우리는 모델 자체의 가능도(likelihoods)를 사용하여 기존의 두 후보에 점수를 매기는, 훈련이 필요 없는 플러그 앤 플레이(plug-and-play) 방식의 중재 레이어인 TRUSTMARGIN을 제안합니다. 이는 메모리가 검색된 답변을 수용하는지 테스트하는 파라미터 사전 확률 마진(parametric-prior margin)과, 구절만의 돌출성(salience)을 배제하고 질문 특화적 지지도를 측정하는 증거 결합 마진(evidence-binding margin)을 결합합니다. TRUSTMARGIN은 미세 조정(fine-tuning), 외부 판사(external judges), 또는 추가적인 생성 없이도 직접 답변과 RAG 답변 사이를 선택합니다. 세 가지 LLaMA 규모를 사용한 2WIKIMQA 및 CWQA 데이터셋 전반에 걸쳐, TRUSTMARGIN은 직접 생성(Direct generation) 및 BM25-RAG보다 일관되게 성능을 향상시키며, Direct/RAG 오라클(oracle) 격차의 일부를 회복하고, 여러 훈련이 필요 없는 RAG 파이프라인으로 일반화됩니다.