지식 수집은 문서를 저장하는 것이 아니라, AI에게 '검색 가능한 기억'을 먹이는 것이다

저는 Knowledge-and-Memory-Management라는 오픈 소스 프로젝트 v0.0.2를 작성한 적이 있습니다.

이 프로젝트의 포지셔닝은 매우 간단합니다: AI Agent가 지식을 어디서 가져오고, 어떻게 저장하며, 어떻게 사용하는지의 문제를 해결하는 것입니다. 기반 시스템은 '기억'을 담당하는 hermes-memory-installer라는 메모리 시스템이며, KMM은 그 위에 지식 수집 계층을 구축하여 파편화된 웹페이지, 영상, 문서, 공식 계정(公众号) 기사 등을 구조화된 검색 가능한 지식 노드로 변환합니다.

쉽게 말해: 당신이 Agent에게 기사 한 편을 먹이면, Agent는 단순히 읽고 잊어버리는 것이 아니라 자동으로 노트를 생성하고, 지식 그래프(Knowledge Graph)에 입력하며, 클라우드 드라이브와 동기화합니다. 다음에 유사한 질문을 검색하면 로컬에서 즉시 히트(hit)됩니다.

3단계 다운그레이드 수집, 멈추지 않는 동작

프로젝트에는 AugmentedSearch 클래스가 있으며, 핵심 로직은 단 하나의 if 문입니다:

class AugmentedSearch:
    def search(self, query, domain=""):
        local = self._search_local(query)
...

로컬 우선 (Local First): 먼저 gbrain 시맨틱 검색(Semantic Search) + ripgrep 로컬 노트 전체 텍스트를 검색합니다. 이전에 읽었던 기사나 작성했던 노트는 모두 인덱스 범위 내에 있으므로, 초 단위로 히트되면 즉시 반환합니다.

자동 폴백 (Automatic Fallback): 로컬 가중치가 충분하지 않을 경우(예: 전혀 접해보지 못한 새로운 주제를 검색할 때), 자동으로 AnySearch 수직 검색(Vertical Search)으로 전환됩니다. finance, academic, code 등의 도메인으로 나뉘며, 결과는 자동으로 web 출처가 표시되어 노트 라이브러리로 원클릭 임포트가 가능합니다.

멈추지 않는 동작 (No Deadlock): gbrain을 사용할 수 없으면 조용히 다운그레이드하고, ripgrep에서 찾지 못하면 건너뛰며, AnySearch가 타임아웃되면 빈 값을 반환합니다. 각 단계마다 try/except 처리가 되어 있어, 하나의 컴포넌트가 작동하지 않는다고 해서 전체 검색이 무너지지 않습니다.

바퀴를 새로 발명하지 마세요

이 설계의 핵심 통찰은 다음과 같습니다: Agent의 지식 관리 ≈ 검색 시스템 + 수집 파이프라인 (Collection Pipeline) + 지속화 계층 (Persistence Layer).

대부분의 사람들은 Agent를 만들 때 프롬프트(Prompt)와 도구 호출(Tool Calling)에만 집중하고, 장기 기억(Long-term Memory)의 가치를 간과합니다. KMM은 이 세 가지를 하나로 연결했습니다. Scrapling을 이용한 안티 크롤링(Anti-scraping)부터 SenseNova 문서 분석에 이르기까지 40개 이상의 수집 파이프라인 도구를 통해 웹페이지, 영상(OCR+ASR 포함), 공식 계정, PDF/PPT/Word, 심지어 도서 정제까지 커버합니다. 수집이 완료되면 자동으로 '노트 생성 → gbrain 입고 → 클라우드 동기화'로 이어지는 폐쇄 루프(Closed Loop)를 형성합니다:

수집 → 처리 → 노트 → 지식 그래프 → 클라우드 양방향 동기화
  │                                │
  └────────── 다음 수집 시 중복 제거 ──────┘

v0.0.2에는 지식 발견(Knowledge Discovery) 모듈도 추가되었습니다. 매주 일요일 OneDrive의 새로운 노트를 자동으로 스캔하여 식별한 후 gbrain에 자동으로 입력합니다. 당신이 Agent에게