이전 시리즈에서 우리는 기존 기록의 진실을 검증하기 위해 Sovereign Vault를 구축했습니다. 하지만 AI 시대로 더 깊이 들어감에 따라, 우리는 거대하고 미해결된 문제인 인류 역사의 **비정형적 악몽 (unstructured nightmare)**에 직면해 있습니다. 수백만 개의 문서가 스캔은 되었으나 이해되지 않은 채 "침묵하는" 픽셀로 존재하고 있습니다.

오늘 우리는 새로운 시리즈인 The Digital Scribe를 시작합니다. 우리는 가치 사슬의 오른쪽(질문에 답하기)에서 왼쪽인 답변이 도출되는 지식 시스템을 구축하는 것으로 이동하고 있습니다.

챗봇을 넘어: 지식 관리자로서의 AI

대부분의 AI 구현은 대규모 언어 모델 (LLM)을 범용 어시스턴트로 취급합니다. Digital Scribe는 다릅니다. 이것은 인간의 지식을 포착, 구조화 및 보존하도록 설계된 **인프라 계층 (Infrastructure Layer)**입니다.

Model Context Protocol (MCP)을 사용하여 우리는 "두뇌"와 "도구"를 분리합니다. 이를 통해 우리의 Senior Paleographer와 같은 전문화된 페르소나를 "고용"하여 19세기의 필기체를 구조화되고 쿼리가 가능한 데이터로 변환할 수 있습니다.

과제: 시계열 HTR

역사적 문서를 위한 필기체 텍스트 인식 (HTR, Handwritten Text Recognition)은 악명 높을 정도로 어렵습니다. 잉크는 흐려지고, 필기체의 루프는 다양하며, 1880년의 조사관들은 약어를 매우 즐겨 사용했습니다. 표준 "챗봇"은 추측하겠지만, Scribe는 통제된 프로토콜을 사용합니다.

우리는 가공되지 않은 픽셀과 구조화된 아카이브 사이의 간극을 메우는 Temporal HTR Server를 구축했습니다.

캡처 파이프라인 (The Capture Pipeline)

구현: Sovereign Ingestion

우리 시스템은 단순히 텍스트를 "읽는" 것이 아니라, **거버넌스 및 출처 (Governance and Provenance)**를 강제합니다. 우리는 Pydantic v2를 사용하여 1880년 인구 조사에서 캡처된 모든 기록이 엄격한 아카이브 표준을 충족하도록 보장합니다.

이 장부들의 가장 인간적인 요소 중 하나는 "Ditto Mark" (do., 반복 기호)입니다. 단순한 OCR(광학 문자 인식)에게 이것은 노이즈(noise)에 불과하지만, 우리의 Scribe(서기)에게 이것은 데이터 링크(data-link)입니다.

# The Scribe's Ditto Resolution Logic
# Scribe의 Ditto 해결 로직
def resolve_ditto_marks(self, previous_record: "Census1880Record | None") -> Self:
        """Ditto mark가 감지되었을 때 previous_record로부터 값을 상속받는 로직.
...

이것이 중요한 이유: 픽셀에서 출처(Provenance)로

비교: 전통적인 OCR vs. Digital Scribe

특징	전통적인 OCR	Digital Scribe
초점	즉각적인 질문에 답하기	지식 베이스(knowledge base) 구축
...	...	...

Digital Scribe는 개발자들이 AI 시스템을 생각하는 방식의 변화를 나타냅니다. 프롬프트(prompt)에 집중하는 대신, 우리는 **데이터 구조(data structure), 정규화(normalization), 그리고 관계(relationships)**에 집중합니다.

**재귀적 Ditto 해결(Recursive Ditto Resolution)**을 구현함으로써, 우리는 출처(Provenance) 문제를 해결합니다. 우리는 단순히 텍스트 파일을 만드는 것이 아니라, **검증 가능한 지식 아카이브(verifiable knowledge archive)**를 구축하고 있는 것입니다.

여러분이 아카이브 전문가(archivist)이든, 연구자이든, 혹은 엔터프라이즈 아키텍트(enterprise architect)이든, "Scribe" 패턴은 비정형 데이터(unstructured data)를 조직의 기억(institutional memory)으로 전환하는 유일하고 지속 가능한 방법입니다.

다음 단계: 지식 그래프 인제스터(Knowledge Graph Ingestor)

단일 행을 캡처하는 것은 시작일 뿐입니다. 진짜 역사는 스프레드시트 안에 존재하는 것이 아니라, 사람, 장소, 그리고 시간 사이의 관계 속에 존재합니다.

다음 편에서는 평면적인 테이블(flat tables)을 넘어 **지식 그래프 인제스터(Knowledge Graph Ingestor)**를 구축할 것입니다. 우리는 다음 내용을 탐구할 것입니다:

• 개체 추출(Entity Extraction): Scribe가 어떻게 가족, 이웃, 직업을 서로 연결된 노드(nodes)로 식별하는지.
• 교차 참조기(The Cross-Referencer): MCP를 사용하여 우리의 1880년 세일럼(Salem) 기록을 외부 역사 지명 사전(historical gazetteers) 및 출생 기록과 연결하는 방법.
• 지속적 메모리(Persistent Memory): 임시 JSON 캡처에서 영구적이고 쿼리가 가능한 JSON-LD 지식 저장소로 이동하기.

우리는 AI에게 읽는 법을 가르쳤습니다. 이제 AI에게 기억하는 법을 가르칠 것입니다.