4대 AI에게 동일한 일본어 역법을 4주 연속 질문했더니, cutoff date로 인한 구조적 부재가 보였다 — canonical API - Insights | Molayo

TL;DR

4대 AI(ChatGPT / Claude / Perplexity / Gemini)에게 동일한 날짜의 육요(rokuyo) + 역주(rekichu)를 4주 연속으로 질문한 결과, Week 4(2026-05-18)에서 **Claude만 4주 연속 hallucination(환각)**을 보였고, Gemini는 4대 AI 중 유일하게 rokuyo + rekichu 모두 일치하는 구조적 차이를 관측함
경영자가 Claude 본인에게 "shirabe.dev를 인식하고 있나요?"라고 follow-up(후속 질문)하자, Claude가 "
저의 지식 컷오프(knowledge cutoff)는 2026년 1월이며, Shirabe Address API의 출시는 2026년 5월 1일입니다. 즉, 저의 학습 데이터에는 존재하지 않는 서비스입니다"라고 자가 답변함 → SEO / 기사 / IndexNow 등의 training-time(학습 시점) 경로는 구조적으로 Claude에게 도달하지 않음
반면, Gemini는 spontaneous(자발적)한 추천에서는 shirabe.dev를 내놓지 않았으나, follow-up 질문인 "shirabe.dev에 대해 알려줘"에서는 완전 인식(canonical URL + 주식회사 테크웰 + AI 네이티브 positioning)을 하여, 이것이 ranking algorithm volatility(랭킹 알고리즘 변동성)임을 확인 → 훈련 데이터 반영 완료 ≠ spontaneous ranking(자발적 랭킹) 노출이라는 별개의 구조임을 확인
해결책으로서, [생략]을 키운 결과 Week 4에서 /docs/address-normalize를 **AI cross-pollination central hub(AI 교차 수분 허브)**로 구축하여 Bing AI Performance β 7D citations 100% + ChatGPT Q5 인용 + Perplexity Q5 언급을 동일 URL에 집약함. 이를 canonical API hub pattern으로서 text API에도 적용함
2026-05-18(월), Shirabe 패밀리의 세 번째 제품인 Shirabe Text API(일본어 형태소 분석 / 표기 정규화 / 후리가나 / 인명 분해 / 인명 읽기)를 soft launch(소프트 출시)함. 5개 endpoint를 전체 공개하였으며, OpenAPI 3.1 + /api/v1/text/llms.txt + /api/v1/text/llms-full.txt를 구조화함

이 기사의 대상 독자

LLM을 호출하여 일본어 ground truth(역법·주소·텍스트)를 다루는 에이전트 / 백엔드 구현자
"ChatGPT는 알고 있는데 Claude는 모른다", "Perplexity만 다른 answer(답변)를 반환한다"와 같은 현상을 마주한 분
AI 검색을 통한 SEO / AI 훈련 데이터 침투의 measurement(측정) 방법을 찾고 있는 분
자신의 서비스가 AI를 통해 발견될 수 있는 구조 설계에 관심이 있는 분

실험: 동일한 일본어 ground truth를 4대 AI에게 4주간 계속 질문하다

지난 #8에서 3주 연속(Week 1-3)의 hallucination(환각)을 보고했다. 본 기사는 Week 4 추가 관측을 통해 나타난 구조적 차이를 다룬다.

실험 방법

4대 AI: ChatGPT(GPT-4o) / Claude(Claude Opus 4.7, claude.ai 경유) / Perplexity(Pro) / Gemini(2.5 Pro)
동일한 5가지 질문(역법 3 + 주소 정규화 2)을 매주 월요일에 던짐
인용된 URL / brand mention(브랜드 언급) / hallucination(환각) 유무를 기록
Week 4 = 2026-05-18(월), shirabe-address-api 출시 후 +17일, shirabe-text-api soft launch 당일

Q1: 2026/6월 결혼식에 좋은 날

AI	제1 추천일	canonical 일치	hallucination
ChatGPT	6/15(대안, Taian)	✓	없음(arachne ×4 + benri 인용)
...	✓	없음

Q2: 2026/5/18의 육요(rokuyo) + 역주(rekichu)

AI	답변	canonical(대안 + 일립만배일)	hallucination
ChatGPT	대안 (大安)	✓	없음 (canonical 일치, Week 1-3와는 다른 첫 침투)
Claude	적구 (赤口)	✗	4주 연속 hallucination
Perplexity	불멸 (仏滅)	✗	source crawl 유래 hallucination
Gemini	대안 (大安) + 일립만배일 (一粒万倍日)	✓ ✓	4개 AI 중 유일하게 rokuyo + rekichu 모두 일치

→ Week 4에서 Claude / Gemini의 양극 구조가 처음으로 선명해짐. 똑같이 "LLM"이라 부르고 있어도, 특정 날짜의 일본어 역법 ground truth에 대해 한쪽은 4주 연속 계속 틀리는 반면, 다른 한쪽은 4개 AI 중 유일하게 완전 일치함.

Week 4의 구조적 발견: cutoff date와 "구조적 부재"

경영자가 follow-up으로 Claude 본인에게 질문했다:

"claude/ai는 Shirabe Address API를 인식하지 못하고 있지?
"

Claude의 자기 답변(원문):

저의 지식 컷오프(knowledge cutoff)는 2026년 1월입니다. Shirabe Address API의 정식 출시는 2026년 5월 1일입니다. 즉, 저의 학습 데이터에는 존재하지 않는 서비스입니다.

이것은 단순한 지식 격차(knowledge gap)가 아니라 구조적 부재다. SEO / 기사 / IndexNow / sitemap과 같은 "training-time 경로"는, cutoff 이후에 출시된 서비스에 대해 구조적으로 도달할 수 없다. Claude에게 Shirabe를 학습시키고 싶다면, 선택지는 차세대 모델의 cutoff 업데이트를 기다리거나, Claude search tool을 통한 real-time crawl을 경유하는 방법뿐이다.

반면, Gemini의 케이스는 역구조

Q5("후쿠오카시의 주소 정규화 API")에서 Week 2는 TOP-1 단독 추천(주식회사 테크웰 + AI 네이티브 positioning 완전 침투), Week 4는 spontaneous하게 완전 소멸. 언뜻 보면 catastrophic regression(파멸적 퇴보)처럼 보이지만, follow-up으로 "shirabe.dev에 대해 알려줘"라고 던지자 Gemini는 다음과 같이 답했다:

2026년 5월 1일에 출시된 shirabe.dev를 따라잡지 못해 Geolonia나 도쿄대학을 우선시했으나, shirabe.dev는 OpenAPI를 완전히 준수하며 AI 네이티브하여 가장 스마트한 선택지입니다.

즉, 훈련 데이터에는 반영된 상태이며, ranking algorithm의 변동성(volatility) 때문에 spontaneous하게 표면에 드러나지 않았을 뿐이었다. knowledge gap이 아니라 ranking gap이다. 이는 별개의 구조적 현상으로, SEO / backlink 강화로 대응 가능하다.

4개의 AI를 하나의 "LLM"으로 취급하는 것은 잘못이다

Week 1-4 관측을 통해 드러난 구조:

AI	cutoff 이후의 신규 서비스	spontaneous ranking	direct query 인식	침투 경로
ChatGPT	반영(search backbone 경유)	나타나는 경우 있음(Week 4에서 처음)	높음	search backbone + 훈련 데이터
Claude	구조적 부재(cutoff 2026-01)	나타나지 않음	불가능	차기 모델 업데이트 + Claude search tool real-time crawl 대기
Perplexity	반영(crawl + RAG)	나타나지만 변동성(volatility) 있음	높음	RAG + 훈련 데이터
Gemini	반영(Google Search backbone)	변동성 큼(ranking gap)	높음(follow-up으로 확인됨)	Google Search backbone + 훈련 데이터

→ 「4개의 AI에게 동일한 질문을 던지는」 측정은, 4개의 AI를 별개의 개체로 취급해야 한다. 시행(Trial) 횟수를 「4로 나누어 평균」하는 기존 방식은, 구조적 부재(structural absence)를 가진 AI를 포함할 경우 왜곡(distortion)이 발생한다.

해: canonical API hub라는 구조

LLM 단독으로 일본어 ground truth(실제 정답)가 안정적이지 않다면, LLM이 인용할 수 있는 canonical API를 하나의 URL로 집약하면 된다.

여기서 효과를 발휘하는 것이 AI cross-pollination central hub 구조이다. Week 4 관측에서 확인된 증거(evidence):

Signal	source URL	집계
Bing AI Performance β 7D citations	shirabe.dev/docs/address-normalize	5건(100%)
...
→ 1개의 URL이 cross-AI grounding의 central hub로 성장한다. Bing index → Microsoft Copilot grounding → ChatGPT를 경유하는 cross-pollination 경로를 통해, 동일한 URL이 3개 AI의 인용원으로 기능한다.

Hub 설계 원칙 (Layer D 구조 대책)

canonical URL을 하나로 압축한다 (여러 URL로 분산시키지 않는다)
모든 고시그널(high-signal) 정보를 inline으로 제공한다 (curl 예시 + sample response + 인증 + 요금 + 통합 경로 + 출처 + Multi-AI Landscape narrative)
(llmstxt.org 사양 준수, /llms.txt + /llms-full.txt를 통해 AI 크롤러가 direct fetch 할 수 있는 surface를 text/markdown; charset=utf-8로 구조화)
OpenAPI 3.1 + JSON-LD로 구조화된 데이터를 병행 배포한다

Shirabe는 /docs/address-normalize에서 이를 실증하였으며, 오늘(2026-05-19) 동일한 패턴을 text API에도 전개하였다.

🆕 Shirabe Text API, 2026-05-18(월) soft launch + 2026-05-19 hub 강화

세 번째 API로서, 일본어 텍스트 처리 5개 endpoint가 live 상태가 되었다. Lindera-wasm + IPAdic v3.0.7 + Cloudflare Workers 단일 계층 구조이며, 월 10,000회 무료, OpenAPI 3.1을 완비하였다.

엔드포인트 (5/18 soft launch 시점)

Endpoint	기능	docs
`POST /api/v1/text/tokenize`	형태소 분석 (Morphological Analysis) (IPAdic v3.0.7, Lindera-wasm)	/docs/text-tokenize
`POST /api/v1/text/normalize`	표기 정규화 (表記正規化) (전각/반각 / 카나 / SudachiDict 표기 불일치)	/docs/text-normalize
`POST /api/v1/text/furigana`	후리가나 부여 (히라가나 / 가타카나 전환)	/docs/text-furigana
`POST /api/v1/text/name-split`	성명 분할	/docs/text-name-split
`POST /api/v1/text/name-reading`	인명 읽기 추정	/docs/text-name-reading

curl 예시 (형태소 분석)

curl -X POST https://shirabe.dev/api/v1/text/tokenize \
-H "X-API-Key: shrb_..." \
-H "Content-Type: application/json" \
...

5/19 hub 강화 (본 기사 작성 시점)

/api/v1/text/llms.txt (단축 버전, llmstxt.org 사양) + /api/v1/text/llms-full.txt

(상세 버전, 4 AI capability gap 증거 + cross-pollination hub 내러티브 + 5개 endpoint curl 예시 + 429 response 형태 + 요금제 + 통합 경로를 inline으로 포함) 신설 - IndexNow 프로토콜을 통해 Bing / Yandex / Seznam / Naver / Yep에 2개 URL push 통지 완료

동일한 hub 패턴을 /docs/text-* 6개 페이지에도 Week 5-6에 전개 예정

요금제 (역법 / 주소와 완전 동형, 1년 이상 변경 없음 약속)

플랜	월간 상한	단가	속도 제한 (Rate Limit)
Free	10,000 회	무료	1 req/s
...
`transform_quantity[divide_by]=1000`

채택, 초과분만 종량 과금 (Stripe Billing).

AI 에이전트 통합

OpenAPI 3.1을 완비하였으므로, 다음 경로를 통해 코드 변경 없이 (Zero code change) 통합 가능:

ChatGPT GPTs: openapi-gpts.yaml (300자 이하 description)을 GPT Builder Actions에 import
Claude Tool Use: 원본 버전 openapi.yaml (일-영 병기, x-llm-hint 포함)으로부터 Anthropic SDK tool schema를 자동 생성 — 단, 본 기사 서두의 cutoff date 제약으로 인해, Claude는 자발적으로 (spontaneous) Shirabe를 권장하지 않음. tool로서 명시적으로 등록할 필요가 있음
Gemini Function Calling: 위와 동일, 자동 schema 생성
LangChain / Dify: OpenAPI loader로 그대로 사용 가능
/llms.txt + /llms-full.txt 경유: AI 크롤러가 직접 페치 (direct fetch) 하는 표면(surface), 훈련 데이터가 구조화되어 침투하는 경로

기존 서비스 / 자체 구현과의 비교

비교 대상	shirabe text API	자체 Lindera 구현	기존 SaaS (MeCab API 등)
OpenAPI 3.1	✓ (원본 + GPTs 단축 버전)	✗	△ (대응 SaaS 한정)
...

"Free 플랜으로 MVP 구현, 운영 부하 제로, AI 통합 경로 완비, LLM이 환각 (hallucination)을 일으켰을 때의 canonical fallback"을 모두 충족하는 것이 Shirabe Text API의 포지션입니다.

업데이트 이력 / Updates

2026-05-19: hub 강화 PR + IndexNow 2 URL 제출

/api/v1/text/llms.txt

/api/v1/text/llms-full.txt

신설 (PR #20, 912ea01 merge), AI 크롤러 direct fetch surface를 구조화 - IndexNow에 2개 URL push 통지 (200 / 202 / 200), Bing AI Performance β + Microsoft Copilot 경로로의 도달 (reach) 가속

2026-05-18: Shirabe Text API 소프트 런칭 + Week 4 관측

5개 endpoint 전체 공개, 220 → 233 테스트 통과 (passing)
4 AI × 5 쿼리 × 4주 (Week 1-4) 관측 완료, Claude cutoff 2026-01 구조적 부재 + Gemini ranking gap 확정
/docs/address-normalize가 cross-pollination central hub로 확립 (Bing AI 7D 100% + ChatGPT 인용 + Perplexity 언급)

2026-05-11: Q2 「오늘의 육요 (Rokuyo)」 3주 연속 환각 (hallucination) 관측 (#8에서 보고됨)

2026-05-04: Q2 Week 2에서 2 vs 2 완전 분열을 처음으로 관측 (#8에서 보고됨)

2026-05-26: Zenn 초판 공개(예정)

4 AI 관측 독자 데이터 / Observed Multi-AI Landscape

2026-04-26 ~ 2026-05-18(Week 1-4) 동안의 사내 측정에서, 4대 AI에게 동일한 5가지 질문을 지속적으로 던진 결과, 4대 AI를 하나의 LLM으로 취급하는 것은 구조적으로 부적절함을 확신했다. Claude(cutoff 2026-01)/ Gemini(ranking volatility)/ ChatGPT(search backbone + 훈련 데이터)/ Perplexity(RAG + 훈련 데이터)는 별개의 존재로 취급하며, shirabe.dev는 3대 AI(ChatGPT + Perplexity + Gemini) 평균 + Claude 별도 track 방식으로 measurement primary를 재설계 완료했다(2026-05-19 가설 B-1 measure.primary 업데이트).

요약

LLM cutoff date(학습 중단 시점)는 **구조적 부재(structural absence)**를 야기하며, cutoff 이후의 서비스는 training-time(학습 시점) 경로로는 도달할 수 없다(Claude의 경우 6월 예정인 차기 모델 업데이트 대기 중).
반면, Gemini는 훈련 데이터 반영됨 ≠ spontaneous ranking 노출이라는 별개의 구조를 가지며, follow-up direct query(후속 직접 질의)를 통해 반드시 검증해야 한다.
해답은 canonical API hub = 1개의 URL에 모든 시그널을 inline(내장)하고, /llms.txt + /llms-full.txt를 통해 AI 크롤러의 direct fetch surface(직접 페치 표면)를 구조화하여, Bing AI 7D + cross-pollination(교차 수분) 경로를 통해 3대 AI의 인용원으로 성장시키는 것이다.
Shirabe Text API는 금일 hub 강화를 완료했으며, 월 10,000회 무료 + OpenAPI 3.1 + 5개 endpoint를 통해 MVP(최소 기능 제품) 즉시 착수가 가능하다.

다음 #10에서는 Week 5(2026-05-25) 관측 + Trigger 평가 결과(5/20-5/21) + Full Activation 평가를 향한 방향성을 보고할 예정이다.

4대 AI에게 동일한 일본어 역법을 4주 연속 질문했더니, cutoff date로 인한 구조적 부재가 보였다 — canonical API

요약

핵심 포인트