AI 에이전트가 당신의 웹사이트에 대해 실제로 무엇을 이해하는지 확인하는 도구를 만들었습니다
요약
AI 에이전트가 웹사이트의 구조화된 데이터를 얼마나 정확하게 이해하는지 검증하는 도구인 'Lagotto Meter'를 소개합니다. llms.txt와 JSON-LD의 일관성을 분석하여 AI를 위한 웹사이트 최적화 상태를 점수로 제공합니다.
핵심 포인트
- AI 에이전트의 환각 방지를 위한 구조화된 데이터의 중요성 강조
- llms.txt, llms-full.txt, JSON-LD 기반의 일관성 검증
- Llama 3.3 70B 및 Gemini 2.5 Flash를 활용한 의미론적 일관성 분석
- SEO 도구가 아닌 AI 에이전트용 선언 데이터의 품질 측정 도구
웹사이트가 스스로에 대해 말하는 내용과 AI 에이전트가 구조화된 데이터 (Structured Data)로부터 실제로 검증할 수 있는 내용 사이에는 격차가 존재합니다.
서로 다른 LLM (Large Language Models)들이 동일한 회사에 대해 일관되지 않은 답변을 내놓는 것을 보고 저는 이 점에 대해 호기심이 생겼습니다. 어떤 모델은 존재하지 않는 서비스를 환각 (Hallucination) 했고, 어떤 모델은 핵심 비즈니스를 완전히 놓치기도 했습니다. 공통적인 원인은 사이트에 llms.txt가 없거나, 불완전한 JSON-LD를 사용하거나, 혹은 홈페이지 문구와 모순되는 구조화된 데이터를 가지고 있다는 점이었습니다.
그래서 저는 Lagotto Meter를 만들었습니다. 이 도구는 어떤 URL에서든 llms.txt, llms-full.txt, 그리고 JSON-LD를 가져와서 Llama 3.3 70B (또는 폴백(Fallback)용으로 Gemini 2.5 Flash)에 전달하며, 구조화된 데이터가 사이트가 스스로 주장하는 내용들을 얼마나 잘 뒷받침하는지 점수를 매깁니다.
이것은 SEO (Search Engine Optimization) 도구가 아닙니다. 콘텐츠를 크롤링하지도 않습니다. 오직 당신이 AI 에이전트를 위해 명시적으로 선언한 내용만을 읽고, 그 선언들이 일관성 있고 완전한지를 확인합니다.
점수 산정 방식은 다음과 같습니다:
llms.txt 존재 여부 및 품질: 0–25
llms-full.txt: 0–15
JSON-LD @graph 완전성: 0–20
robots.txt / sitemap: 0–10
의미론적 일관성 (Semantic coherence, LLM 판단): 0–30
기술적 구조는 완벽하지만 고객이나 결과에 대해 검증 가능한 주장이 없는 사이트는 일관성 점수에서 감점을 받습니다. 모델은 당신이 선언한 내용과 증명할 수 있는 내용 사이의 비례성을 확인합니다.
당신의 사이트나 궁금한 다른 사이트에서 직접 테스트해보세요:
https://lake8.dev/lagotto-meter
프롬프트는 공개되어 있으며 재현 가능합니다. 무료이며, IP당 24시간마다 1회의 분석이 가능합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Dev.to AI tag의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기