Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep

요약

본 논문은 대규모 언어 모델(LLMs)이 여러 웹 소스를 종합하여 생성하는 보고서에서 인용의 신뢰성을 체계적으로 평가할 수 있는 새로운 프레임워크를 제시합니다. 기존 RAG 방식은 출처 접근성, 관련성, 사실적 일관성을 검증하지 못하는 한계를 가집니다. 제안된 프레임워크는 인라인 인용을 추출하고, 링크 유효성(Link Works), 주제 적합성(Relevant Content), 그리고 소스 기반의 사실 확인(Fact Check) 세 가지 차원에서 평가를 수행합니다. 실험 결과에 따르면, 최신 모델들조차도 높은 수준의 링크 유효성을 보이지만, 사실적 정확성은 39%에서 77% 사이로 크게 떨어지는 불일치가 발견되었습니다. 또한, 검색 소스의 양이 증가할수록 오히려 인용의 사실적 정확도가 감소하는 현상도 확인되어, 단순한 정보 수집만으로는 신뢰성 확보가 어렵다는 점을 시사합니다.

핵심 포인트

• LLM 생성 보고서의 인용 신뢰성을 평가하기 위한 포괄적인 프레임워크를 개발함.
• 인용 평가는 링크 유효성(Link Works), 관련 콘텐츠 적합성(Relevant Content), 사실적 정확성(Fact Check) 세 가지 차원에서 이루어짐.
• 최첨단 LLM도 높은 링크 유효성을 보이지만, 실제 사실적 정확성은 현저히 낮아 신뢰성에 큰 격차가 존재함.
• 검색 소스의 양이 증가할수록 인용의 사실적 정확도가 오히려 감소하는 역설적인 현상을 발견하여 정보 검색의 한계를 제시함.