Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep

대규모 언어 모델 (LLMs) 이 수백 개의 웹 소스에서 정보를 종합하여 인용된 보고서로 생성하는 심층 연구 에이전트를 구동하지만, 이러한 인용은 신뢰할 수 있게 검증되지 않습니다. 현재 접근 방식은 편향을 위험하게 하는 모델의 자기 인용을 신뢰하거나, 소스 접근성, 관련성, 사실적 일관성을 검증하지 않는 리트리벌-Augmented Generation (RAG) 을 사용합니다. 우리는 LLM 생성 Markdown 보고서에서 인라인 인용을 추출하고 규모에 맞게 평가하는 첫 번째 소스 귀속 평가 프레임워크를 소개합니다. 개별 주장의 검증과 다른 방법들은 실제 인용된 콘텐츠를 검색하여 인간 또는 모델 평가자가 각 인용을 소스에 대해 판단할 수 있도록 루프를 닫습니다. 인용은 세 가지 차원에서 평가됩니다. (1) Link Works 는 URL 접근성을 확인하고, (2) Relevant Content 는 주제 정렬을 측정하며, (3) Fact Check 는 소스 콘텐츠에 대한 사실적 정확성을 검증합니다. 우리는 14 개의 폐쇄형 및 오픈소스 LLM 을 세 가지 평가 차원에서 규칙 기반의 LLM-as-a-judge 평가자를 사용하여 인간 검토를 통해 교정했습니다. 우리의 결과는 가장 강력한 프론티어 모델조차 링크 유효성을 94% 이상, 관련성을 80% 이상 유지하지만 사실적 정확성은 39-77% 만 달성하며, 오픈소스 모델의 절반 미만은 한 샷 설정에서 인용된 보고서를 성공적으로 생성한다는 것을 보여줍니다. 연구 깊이에 대한 아벨레이션 연구는 도구 호출이 2 에서 150 으로 확장함에 따라 Fact Check 정확도가 평균적으로 약 42% 감소함을 보여주며, 더 많은 검색이 더 정확한 인용을 생산하지 않음을 증명합니다. 이러한 발견은 표면적 인용 품질과 사실적 신뢰성 사이의 중요한 불일치를 드러내며, 우리의 프레임워크는 이 불일치를 평가하기 위한 평가 인프라를 제공합니다.