LLM이 가짜 출처를 만들어내는 것을 영원히 막는다면 어떨까?
요약
LLM의 환각 현상 중 하나인 가짜 출처 생성을 방지하기 위해 구축된 오픈 소스 플랫폼 CKS를 소개합니다. CKS는 모델과 지식 사이의 검증 가능한 인프라를 제공하여 모든 출처와 변경 사항을 추적하고 감사할 수 있게 합니다.
핵심 포인트
- LLM의 가짜 인용 및 유령 참조를 탐지하는 검증 인프라 제공
- MCP 호환 도구를 통해 검증, 출처 확인, 버전 비교 등 8가지 기능 지원
- 지식 그래프와 임베딩 프로젝션을 활용한 실시간 데이터 구조 검증
- RAG 파이프라인 및 AI 검증 작업을 위한 오픈 소스 솔루션
우리는 AI 모델에 '표준 지식 백본(canonical knowledge backbone)'을 제공하는 오픈 소스 플랫폼을 구축했으며, 이로 인해 테스트 모델이 첫 실행부터 인용 자료를 조작하는 것이 포착되었습니다.
문제점: 당신의 LLM은 환상적인 거짓말쟁이다
솔직히 말해서 — 우리 모두가 그런 경험을 해봤습니다. AI 비서에게 보고서를 작성해 달라고 요청했는데,
LLM과 지식 중추 (knowledge backbone) 사이의 인터페이스. MCP 호환 AI가 사용할 수 있는 8가지 도구: 검증 (validate), 직렬화 (serialize), 설명 (explain), 진화 (evolve), 출처 확인 (verify sources), 버전 목록화 (list versions), 버전 비교 (compare versions), 그리고 3-way 병합 (three-way merge)입니다.
실시간 실험: 여러분 대신 저희가 직접 테스트했습니다
저희는 Claude Desktop을 통해 CKS 도구들을 사용하여 Haiku 4.5를 일련의 실험에 투입했습니다. 결과는 다음과 같습니다.
실험 1: 가짜 인용 잡아내기
저희는 모델에게 인공지능 (Artificial Intelligence)에 관한 지식 그래프 (knowledge graph)를 생성하도록 요청한 뒤, 존재하지 않는 출처에 대한 참조를 추가했습니다. embedding_projection 확장을 활성화한 상태에서 구조를 검증했을 때, 시스템은 즉시 CKS-EXT-EMBEDDING-PROJECTION 진단을 통해 해당 유령 참조 (phantom reference)를 표시했습니다. 모델은 속임수를 쓸 수 없었습니다. 시스템이 끊어진 참조 (dangling reference)를 기계적으로 탐지해냈기 때문입니다.
실험 2: 타임 트래블 디버깅 (Time-Travel Debugging)
저희는 그래프를 진화시키고 (
저희는 LLM의 다음 개척지가 더 큰 모델이나 더 긴 컨텍스트 윈도우 (context windows)가 아니라, 바로 **검증 가능한 지식 인프라 (verifiable knowledge infrastructure)**라고 믿습니다. 이는 모델과 그 출력물 사이에 위치하여, 모든 주장이 그 기원을 추적할 수 있고, 모든 출처를 확인할 수 있으며, 모든 변경 사항을 감사 (auditable)할 수 있도록 보장하는 계층입니다.
CKS는 이러한 비전에 대한 저희의 오픈 소스 (open-source) 기여입니다. MIT 라이선스로 제공되며, 프로덕션 환경에서 즉시 사용 가능하고(production-ready), 활발하게 유지 관리되고 있습니다.
저희는 기여자, 피드백, 그리고 실제 사용 사례를 찾고 있습니다. 만약 여러분이 RAG 파이프라인 (RAG pipelines), 지식 그래프 (knowledge graphs), 또는 AI 검증 (AI verification) 작업을 하고 있다면, 여러분의 의견을 듣고 싶습니다.
GitHub: github.com/Deus-corp
Documentation: deus-corp.github.io/cks-core
LLM은 생성하고, CKS는 검증합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기