Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
AI 어시스턴트가 생성한 초안에 포함된 정량적 주장의 진위 여부를 검사하는 Python CLI 도구인 factfence를 소개합니다. 이 도구는 텍스트 파일에서 모든 수치를 추출하고, 해당 인용 페이지를 가져와 실제 수치가 포함되어 있는지 판별하여 AI 환각을 효과적으로 잡아냅니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기지난주에 저는 Hacker News에서 한 사용자가 단순히 LLM(대규모 언어 모델)이 그 통계를 사실로 인용하도록 유도하기 위해 임의의 사이트에 가짜 통계를 게시한 글을 읽었습니다. 295점과 168개의 댓글이 달린 이 글은 저에게 깊은 공감을 불러일으켰는데, 왜냐하면 저는 이보다 훨씬 완화된 버전의 상황을 직접 경험했기 때문입니다. AI 어시스턴트가 "개발자 중 73%가…"라는 자신감 넘치는 문구와 링크를 포함한 초안을 건네주면, 그 링크에 실제로 73%라고 적혀 있는지 빠르게 확인할 방법이 없었습니다.
제가 찾아본 기존의 인용 확인기들은 대부분 학술 참고문헌(academic bibliographies)을 겨냥하여 "이 참조가 존재하는가?"라는 다른 질문에 답하는 서비스였으며, 보통 유료 웹 서비스 형태였습니다. 저는 좀 더 좁고 로컬한 기능, 즉 **"인용된 페이지에 실제 수치가 포함되어 있는가?"**를 원했습니다. 그래서 이 도구를 만들었습니다.
factfence는 의존성(dependency)이 전혀 없는 Python CLI(명령줄 인터페이스)입니다. 블로그 초안, 문서 파일, AI 생성 보고서 등 어떤 마크다운 또는 텍스트 파일에든 이를 적용하면 다음 기능을 수행합니다:
retries = 99가 절대로 "주장"이 되는 것을 방지합니다.SUPPORTED: 인용된 페이지에 수치가 포함되어 있음UNVERIFIED: 페이지는 로드되지만 수치를 포함하고 있지 않음 (전형적인 AI 환각(hallucination) 형태)BROKEN: 모든 인용 링크가 실패함UNCITED: 어떠한 인용도 없이 존재하는 명확한 수치CITED: 작동하는 링크와 함께 "연구에 따르면…"이라는 주장이 있으나, 교차 확인할 수 있는 수치가 없음샘플 AI 작성 단락에 대한 실제 출력은 다음과 같습니다:
[✓ SUPPORTED]
According to the 2026 State of DevTools Survey, 73% of developers say AI-
generated code needs human review before merging
...
종료 코드(Exit codes)는 CI 환경에 친화적입니다 (0은 정상, 1은 검토 필요, 2는 오류)이며, --json 플래그를 사용하면 파이프라인을 위한 기계가 읽을 수 있는 출력을 얻을 수 있습니다.
git clone https://github.com/techdevfun/factfence.git
cd factfence
python3 -m factfence your-draft.md
pip install이 필요 없습니다—표준 라이브러리(stdlib)만 사용하며 Python 3.10 이상에서 작동합니다.
이 도구는 진실 여부가 아닌 _인용 지원(citation support)_을 확인합니다. 출처가 잘못되었다면 SUPPORTED라는 주장은 여전히 틀릴 수 있습니다—이 도구가 잡아내는 것은 훨씬 더 흔한, 확신에 찬 숫자와 죽었거나 관련 없거나 누락된 인용 간의 불일치입니다. 숫자 일치는 텍스트 기반입니다(