서브시퀀스-연관 필터링 및 너비 인지 선택을 통한 LLM 환각 용어 추적 및 제어

원문 발행 2026. 10. 10. 01:22원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

본 논문은 LLM의 쿼리 확장 과정에서 발생하는 '환각' 현상을 추적하고 제어하는 새로운 방법을 제시합니다. 기존 방법들이 환각 용어를 단순히 필터링하는 데 그쳤다면, 본 연구는 서브시퀀스-연관 필터링 및 너비 인지 쿼리 확장(SAFE-QE)이라는 검색기 독립적인 접근 방식을 도입했습니다. 이는 후보 용어의 코퍼스 조건부 교차 컨텍스트 재현성을 기준으로 점수화하여 환각적 연관성이 높은 용어를 식별하고 가중치를 낮춥니다.

핵심 포인트

SAFE-QE는 훈련이 필요 없고 검색기 독립적인 방법론입니다.
환각 용어율(Hallucinated Expansion Term Rate)을 도입하여 충실성을 측정합니다.
nDCG@10 성능은 기존 방식과 유사하면서도 환각 용어를 효과적으로 줄였습니다.
일관성(환각 없음)과 너비(커버리지) 사이의 트레이드오프를 관리합니다.

대규모 언어 모델(LLMs)은 현재 쿼리 확장 용어의 표준 출처가 되었지만, 환각 현상을 일으킨다. 이들은 존재하지 않는 개체나 주제와 무관한 용어를 주입하여 순위 결정 노이즈를 추가하고 강력한 검색기(retriever)에 해를 끼칠 수 있다. 기존의 해결책들인 코퍼스 접지(corpus grounding), 상호 검증(mutual verification), 선호도 정렬(preference alignment) 등은 환각 용어를 합의 휴리스틱(agreement heuristics)으로 필터링해야 할 구별되지 않은 골칫거리로 취급하며, 특정 용어가 왜 나타나는지에 대한 기계적 설명이나 몇 개의 용어를 유지할지에 대한 원칙적인 기준을 제시하지 못한다. 우리는 서브시퀀스-연관 필터링 및 너비 인지 쿼리 확장(SAFE-QE)이라는 훈련이 필요 없고 검색기 독립적인 방법을 제안하며, 이는 환각에 대한 서브시퀀스-연관 계정을 활용한다. 우리는 각 후보 확장 용어를 코퍼스 조건부 교차 컨텍스트 재현성(corpus conditioned cross-context reproducibility)을 기준으로 점수화하며, 무작위 쿼리 컨텍스트 하에서 다시 나타나지만 유사 관련 집합(pseudo-relevant set) 내에 지지 기반이 부족한 용어들은 지배적인 환각적 연관성의 산물로 플래그가 지정되고 가중치가 낮춰진다. 언어 생성을 일관성(환각 없음)과 너비(커버리지) 사이의 트레이드오프(trade-off)로 특징지은 데 따라, 우리는 용어 선택을 유사 관련 집합에 대한 제약된 커버리지 최대화 문제로 간주하고, 재샘플링 전반에 걸쳐 근사적으로 넓으면서도 일관되고 안정적인 집합을 유지한다. 또한, 우리는 주입된 확장 용어가 아무런 관련 문서에서 지지받지 못하는 경우를 계산하는 쿼리 측 충실성 측정 기준인 환각 확장 용어율(Hallucinated Expansion Term Rate)을 도입한다. 우리는 벤치마크된 TREC 및 BEIR 컬렉션에서 우리의 접근 방식을 평가했다. 우리의 SAFE-QE는 nDCG@10에서 생성적 방식 및 코퍼스 주도 확장과 통계적으로 구별할 수 없으면서, Query2doc의 경우 4.3개(Query2doc은 27.8개)로, HyDE의 경우 57.5개(HyDE는 57.5개)보다 적은 지원되지 않는 용어를 주입한다. 또한 강력하게 학습된 희소 검색기에서도 모든 확장 방식이 퇴행하는 반면, 환각 용어율을 통해 충실성은 측정 가능한 품질 손실 없이 확보할 수 있다.

AI 자동 생성 콘텐츠

원문 바로가기

서브시퀀스-연관 필터링 및 너비 인지 선택을 통한 LLM 환각 용어 추적 및 제어

요약

핵심 포인트

댓글