환각 현상 멈추기: 서명된 출처 기반의 주장(claims)으로 LLM 응답의 근거를 마련하는 개발자 API

요약(TL;DR): 저는 방금 SourceScore VERITAS를 출시했습니다. 이는 수동으로 검증된 AI/ML 주장(claims)과 그 기본 출처, HMAC-SHA256 서명, 그리고 바로 붙여넣을 수 있는 인용문을 반환하는 무료 티어 친화적인 API입니다. 출시 시점에는 51개의 주장이 포함되어 있으며, 올해 5,000개 이상으로 확장할 예정입니다. curl https://sourcescore.org/api/v1/claims.json 을 사용하면 바로 시작할 수 있습니다.

지난 2년 동안 LLM을 기반으로 무언가를 구축해 보셨다면, 모델이 존재하지 않는 사실을 자신 있게 지어내는 것을 목격했을 것입니다. GPT-4가 작성된 적도 없는 논문을 인용하는 것을 보았을 것입니다. Claude가 지난달에 출시된 모델의 출시일을 잘못 말하는 것을 보았을 것입니다. 검색기(retriever)가 올바른 문서를 가져왔음에도 불구하고 모델이 소스 페이지 어디에서도 찾을 수 없는 숫자를 생성하는 RAG(Retrieval-Augmented Generation) 파이프라인을 수정해 본 적도 있을 것입니다.

근거 제시(grounding) 문제는 사라지지 않습니다. 이는 오늘날 프로덕션 AI에서 가장 해결하기 어려운 미해결 과제이며, 모델이 커질수록 거짓말을 할 때 더욱 자신 있게 거짓말을 합니다.

지난주 저는 2년 전에 존재했더라면 좋았을 개발자 API인 VERITAS를 출시했습니다. 기능은 다음과 같습니다 (단 한 번의 curl로 확인 가능):

curl -X POST https://sourcescore.org/api/v1/verify \
-H 'Content-Type: application/json' \
-d '{"claim": "Llama 3.1 was released in July 2024"}'

{
"apiVersion": "v1",
"query": "Llama 3.1 was released in July 2024",
"bestMatch": {
"id": "...",
"subject": "Llama 3.1",
"predicate": "released_on",
"object": "2024-07-23",
"statement": "Llama 3.1 released on: 2024-07-23.",
"confidence": 1.0,
"detailUrl": " https://sourcescore.org/api/v1/claims/....json "
},
"signature": {
"algorithm": "HMAC-SHA256",
"signedBy": "did:web:sourcescore.org",
"signedAt": "2026-05-16T...",
"signature": "..."
}
}

이 API가 LLM의 근거 제시(grounding)에 유용한 세 가지 이유는 다음과 같습니다:

1. 모든 주장(claim)은 2개 이상의 기본 출처를 가집니다 — 공식 Meta AI 블로그, Hugging Face의 모델 카드, arXiv 프리프린트 등입니다. "TechCrunch의 기사에 따르면" 식의 출처가 아닙니다.
2. 모든 응답에는 서명이 포함되어 있습니다 — did:web:sourcescore.org를 사용한 HMAC-SHA256 방식입니다. 클라이언트는 답변이 SourceScore로부터 왔으며 전송 과정에서 변조되지 않았음을 증명할 수 있습니다.

모든 주장 (claim)은 고유하고 안정적인 ID를 가집니다. 이를 LLM 컨텍스트 (context)에 붙여넣거나, 논문에서 링크를 걸거나, 프롬프트 템플릿 (prompt template)에 임베딩 (embed)할 수 있습니다. 이 ID는 변하지 않습니다.

이런 방식으로 구축한 이유
훌륭한 학술적 팩트 체크 (fact-checking) 데이터셋들이 있습니다. 훌륭한 벤치마크 (benchmark) 리더보드 (leaderboard)들도 있습니다. 위키피디아 (Wikipedia)도 있습니다. 하지만 이 중 그 어떤 것도 RAG 파이프라인 (pipeline)에서 요청 시점에 30ms의 응답 속도로 호출할 수 있는 API는 아닙니다. 저는 시작 단계에서 AI/ML 연구라는 좁은 수직적 영역 (vertical)을 선택했습니다.

출시 시점에는 다음을 포함하는 51개의 주장을 제공합니다:

• 12개의 기초 논문 (Transformer, RLHF, RAG, LoRA, DPO, Chinchilla, PPO, Adam, AlexNet, BERT, Chain-of-Thought, FlashAttention, MoE, Switch Transformer, Mamba, T5, CLIP, Constitutional AI, InstructGPT, ResNet)
• 날짜, 파라미터 수 (parameter counts), 컨텍스트 윈도우 (context windows)를 포함한 22개의 모델 출시 정보 (GPT-2/3/4/4-Turbo/4o, Claude 3/3.5, Llama 1/2/3/3.1, Mistral 7B, Mixtral 8x7B, Gemini Pro/1.5, Whisper, DALL-E 3, Stable Diffusion 1, Sora, ChatGPT, ChatGPT Plus)
• 6개의 조직 정보 (Anthropic, OpenAI, Mistral, HuggingFace, Stability AI, DeepMind)

모든 주장은 1차 출처 (primary source)를 바탕으로 수동 검증되었습니다. 만약 어떤 주장의 신뢰도 (confidence)가 0.85 미만이라면 게시되지 않습니다. 성능 비교 (performance-comparison) 관련 주장은 v0 버전에서 의도적으로 제외되었습니다. 벤치마크 수치는 버전과 프롬프트 형식 (prompt format)에 따라 달라지기 때문에, "사실 그건 정확하지 않습니다"라는 반박이 들어올 여지가 너무 많기 때문입니다. 계획은 동일한 방법론 하에 30일 이내에 카탈로그를 약 500개의 주장으로, 1년 이내에 약 5,000개로 확장하는 것입니다.

무료 티어, 가입 불필요
무료 티어는 인증 (auth) 없이 월 1,000개의 주장을 제공합니다. 그냥 curl을 사용하면 됩니다. 데이터 구조 (data shape), 서명 형식 (signature format), 검색 동작 (search behavior)에 익숙해지세요. 무료 한도를 초과할 경우, 유료 티어는 €19 (Indie) / €99 (Startup) / €499 (Scale)이며, Stripe 종량제 결제 (metered billing)가 적용됩니다. OpenAPI 3.1 명세는 /api/v1/openapi.json에서 확인할 수 있으며, 전체 문서는 /docs/에 있습니다.

다음 단계
피드백을 받고 싶은 두 가지 열린 질문이 있습니다:

1. 어떤 유형의 주장이 가장 가치 있습니까? 현재는 출시 날짜 + 파라미터 수 + 논문 소개 + 조직 정보 위주입니다. 운영자가 제안하는 추가 항목은 언제나 환영합니다.
2. 수직적 확장 (vertical expansion)의 방향성.

AI/ML은 v0 단계의 진입점 (wedge)입니다. 다음으로 유력한 후보는 과학 장비 사양 (scientific instrumentation specs), 소프트웨어 출시 날짜 및 버전, 규제 마감일 (regulatory deadlines) 등입니다. 실제로 어떤 용도로 사용하시겠습니까? 직접 사용해 보시고, 망가뜨려 보시고, 무엇이 부족한지 알려주세요. contact@sourcescore.org 또는 아래 댓글로 연락 바랍니다. 제작 도구: Next.js 15 (static export) · Cloudflare Pages + Pages Functions · TypeScript · HMAC를 위한 Web Crypto API · Plausible Analytics. 100% 서버리스 (serverless)이며, 전 세계적으로 약 100ms의 콜드 스타트 (cold-start)를 유지합니다. 소스 평가 제품 (원래의 SourceScore Index, 130개의 수동 점수 매겨진 소스)이 동일한 도메인 내에 함께 존재하며, 두 제품 모두 하나의 방법론 (methodology) 아래에 있습니다. 북마크할 링크: 카탈로그 (Catalog): https://sourcescore.org/claims/ 문서 (Docs): https://sourcescore.org/docs/ OpenAPI 명세 (OpenAPI spec): https://sourcescore.org/api/v1/openapi.json 가격 (Pricing): https://sourcescore.org/pricing/