AI 텍스트의 인용 출처가 실제 주장을 뒷받침하는지 확인하는 MCP 서버를 제작했습니다
요약
AI 생성 텍스트의 인용 출처가 실제 주장을 뒷받침하는지 검증하는 MCP 서버인 CiteGuard를 소개합니다. Claude와 같은 모델에 도구로 제공되어 인용의 유효성을 자동으로 감사하고 판정합니다.
핵심 포인트
- 인용의 유효성을 6가지 유형으로 세분화하여 판정
- 소스 텍스트의 축자적 인용구를 함께 제공하여 검증 용이
- 깨진 링크 대응을 위해 archive.org 폴백 기능 지원
- MCP(Model Context Protocol) 표준을 따르는 도구
KPMG의 "분위기 인용 (vibe citing)" 참사(그들의 AI 보고서에서 45개의 인용 중 단 5개만이 유효했음) 이후, 저는 인용을 기계적으로 감사하는 MCP 서버인 CiteGuard를 구축했습니다.
Claude에게 check_document 도구를 제공하면 어떤 초안이든 감사할 수 있습니다. 각 인용은 가져오기(fetch) 과정을 거치고, 불필요한 문구(boilerplate)를 제거한 뒤, 함의(entailment) 여부를 판단합니다. 즉, 소스 텍스트에 실제로 해당 주장이 포함되어 있는지를 확인합니다. 모든 판정 결과에는 소스에서 가져온 축자적 인용구(verbatim quote)가 함께 제공되므로, 몇 초 안에 판정 결과 자체를 검증할 수 있습니다.
여섯 가지 판정 유형: supported (지원됨) / partially_supported (부분적 지원) / contradicted (모순됨) / unsupported (지원되지 않음) / uncertain (불확실함) / could_not_fetch (가져올 수 없음). 깨진 링크는 archive.org 폴백(fallback)을 사용합니다. 가져올 수 없는 소스는 결코 맹목적으로 판단하지 않습니다.
설정 (stdio):
npx citeguard-mcp
(env: CITEGUARD_JUDGE_PRESET=anthropic, CITEGUARD_JUDGE_KEY=sk-...)
또는 호스팅된 원격 MCP 엔드포인트를 사용할 수 있습니다. 공식 MCP 레지스트리에 io.github.Franksterino/citeguard로 등록되어 있습니다.
또한 LLM 키가 전혀 필요 없는 check_links 도구(순수 데드 링크 체크 도구)도 포함되어 있습니다.
오픈 소스 (MIT): https://github.com/Franksterino/citeguard
설정 없는 웹 데모: https://citeguard.boundy.workers.dev/demo
공개 사항: 저의 지시 하에 AI 보조(Claude Code)를 통해 제작되었습니다 — 자세한 내용은 리포지토리(repo)를 참조하세요.
피드백을 매우 환영하며, 특히 글쓰기 워크플로우에서 실제로 어떤 수준의 판정 세분화(granularity)를 원하는지 알려주세요.
submitted by /u/OddSheepherder8307
[link] [comments]
AI 자동 생성 콘텐츠
본 콘텐츠는 r/ClaudeAI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기