AI 시대의 개인 지식 시스템: 3단계 검색(Recall) + 로컬 우선(Local-first) 아키텍처 실습

지식 관리 도구의 가장 큰 함정은 "수집만 하고 취하지 않는 것"입니다. 수많은 노트, 북마크, 조각들을 수집하지만, 정작 필요할 때 찾지 못하거나 찾아내더라도 기존 인지(Cognition)와 연결되지 않는 고립된 파편에 불과합니다.

v0.0.2에서 우리는 다음과 같은 목표를 가진 3단계 계층적 검색(Hierarchical Recall) 아키텍처를 도입했습니다: AI Agent가 답변하기 전에 먼저 자신의 노트를 뒤져보고, 그다음 벡터 메모리(Vector Memory)를 조회하며, 마지막으로 지식 그래프(Knowledge Graph)를 확인하게 하는 것입니다. 로컬에서 찾을 수 없을 때만 네트워크로 넘어갑니다.

3단계 검색: 빠른 것에서 깊은 것으로

사용자 질문 → FTS5 전체 텍스트 검색 (밀리초 단위)
         → Hindsight 벡터 의미론적 검색 (백 밀리초 단위)
         → gbrain 지식 그래프 순회 (초 단위, 연관 추론 포함)
...

• FTS5 (Hot): SQLite 내장 전체 텍스트 인덱스(Full-Text Index)로, 키워드 정밀 매칭에 적합하며 사용자가 어떻게 묘사할지 명확히 아는 대상을 검색할 때 유용합니다. 지연 시간이 거의 없습니다.
• Hindsight (Warm): 벡터 임베딩(Vector Embedding) + 의미론적 검색(Semantic Retrieval). 키워드는 잊어버리고 "자동 등록에 대해 설명했던 그 글"처럼 기억할 때, 의미론적 매칭을 통해 찾아낼 수 있습니다. 약 10K 노드 용량을 지원합니다.
• gbrain (Cold): 지식 그래프(Knowledge Graph)로, 11K 이상의 페이지가 위키링크(Wikilink)를 통해 연결되어 있습니다. 단순히 노드를 찾는 것을 넘어 **연관 경로를 순회(Traverse)**할 수 있습니다. 예를 들어 "A 프로젝트는 B 프레임워크를 사용했고, B 프레임워크의 C 모듈에는 알려진 문제점이 있다"와 같은 연결이 가능하며, 이것이 바로 지식 관리의 최종 형태입니다.

3단계로 점진적인 폴백(Fallback)이 이루어지며, 이전 단계에서 검색 결과가 적중하면 다음 단계로 넘어가지 않아 계층적 지연 시간 곡선을 형성합니다.

왜 로컬 우선(Local-first)인가?

대부분의 지식 관리 솔루션은 "저장은 로컬에, 검색은 클라우드에" 하는 방식입니다. 노트는 Obsidian에 있지만, 검색은 Embedding API에 의존하여 쿼리 경험이 외부 서비스에 완전히 종속됩니다.

v0.0.2의 방식은 반대입니다. FTS5와 Hindsight 벡터는 모두 로컬에서 실행됩니다. gbrain의 임베딩 또한 로컬(PostgreSQL + pgvector)에서 작동합니다. 모든 검색 링크(Recall Link)가 로컬 기기를 벗어나지 않습니다. 오직 lightweight_recall(query)이 빈 결과를 반환할 때만 AnySearch를 통해 네트워크 검색을 수행합니다.

from knowledge_discovery import lightweight_recall

# 3단계 자동 검색, 로컬 우선
...

이 모델은 실제 테스트 시나리오에서 약 70%의 적중률을 보였습니다 (FTS5 약 40%, Hindsight 보완 약 20%, gbrain 관계 체인 약 10%). 대부분의 일상적인 질문은 인터넷 연결이 전혀 필요하지 않습니다.

수집 및 정제 파이프라인 (Ingestion Pipeline)

3단계 검색의 전제 조건은 지식이 먼저 데이터베이스에 입력되어야 한다는 것입니다. 시스템은 웹페이지(Scrapling 안티 디텍션), 영상(Whisper ASR + OCR), 문서(SenseNova 3종 세트 PDF/PPT/Word), 기사(공식 계정/웨이보/RSS), 도서(자동으로 Skill로 정제)를 아우르는 40개 이상의 수집 도구를 제공합니다.

핵심은 각 수집 입구가 동일한 파이프라인을 거친다는 점입니다: 수집 → 분석 → 구조화된 노트 생성 → 3단계 메모리 저장 → 선택적 클라우드 드라이브 동기화. 단순히 URL을 저장하는 것이 아니라, 엔티티(Entity)를 추출하고 요약을 생성하며 지식 그래프 링크를 구축합니다.

적용 시나리오

이 아키텍처는 로컬에서 실행되는 AI Agent에 가장 적합합니다. LLM은 로컬에서 구동되거나 API로 호출되더라도, 지식 계층은 완전히 스스로 제어합니다. 3단계 검색 + 로컬 우선 설계 덕분에 지식 쿼리 지연 시간을 제어할 수 있고, 프라이버시가 노출되지 않으며, 외부 서비스의 가용성에 의존하지 않습니다.

v0.0.2는 첫 단계입니다. 수집 파이프라인이 준비되었고 검색 링크가 연결되었습니다. 다음 단계의 방향은 Agent 간 공유 메모리 그래프, 피드백 기반의 자동 망각, 그리고 지식 품질의 폐쇄 루프(Closed-loop) 평가입니다.