AI Agent가 진공 상태에 머물게 하지 마세요: KMM v0.0.2가 외부 세계를 기억 시스템에 집어넣는 방법

대부분의 AI Agent 기억 시스템은 단 한 가지 문제만 해결합니다: 기억하기. gbrain은 지식 그래프 (Knowledge Graph)를 저장하고, Hindsight는 벡터 (Vector)를 저장하며, memory tool은 선호도 (Preference)를 저장합니다. 세 개의 저장소에 데이터가 가득 쌓여 있어도, 당신이 "방금 내가 본 그 공식 계정(公众号) 기사에서 뭐라고 했지?"라고 물으면 — 대답하지 못합니다.

이것은 기억하지 못하는 문제가 아니라, 수집 계층 (Collection Layer)이 없는 문제입니다.

Knowledge-and-Memory-Management (KMM)의 포지셔닝은 매우 명확합니다: 또 다른 기억 데이터베이스가 아니라, 지식 수집 → 정제 → 호출 (Recall) → 클라우드 동기화의 전체 링크 플러그인으로서, hermes-memory-installer의 기억 기반(Memory Base)에 능력을 확장하는 역할을 합니다.

아키텍처: 수집과 저장의 분리

KMM은 저장하지 않고, 오직 세 가지 일만 수행합니다: 가져오기, 깨끗하게 씻기, 내보내기.

수집 계층 (40+ 도구) → 분석 계층 (AI 처리) → 저장 계층 (3단계 기억)
  ├─ 웹 엔진 (9)      ├─ 노트 자동 생성     ├─ Hot (memory tool)
  ├─ 비디오 엔진 (12)  ├─ 지식 그래프 추출    ├─ Warm (Hindsight)
...

각 수집기 (Collector)는 통일된 CollectionResult를 출력하여 generate_note()로 전달하고 노트 파이프라인을 실행합니다. 특정 Agent와 결합(Coupling)되지 않습니다.

3단계 호출 (Recall): 어떤 지식도 뒤처지지 않게

lightweight_recall.py는 검색 엔트리 포인트입니다. 먼저 로컬 FTS5를 조회하고 (밀리초 단위), 일치하는 것이 없으면 Hindsight 벡터 (의미론적 유사성)를 거쳐, 그래도 없다면 gbrain 지식 그래프 (연관 추론)로 넘어갑니다. 세 가지 소스가 서로를 보완하며, 단일 소스를 사용할 수 없을 때 자동으로 다운그레이드(Fallback)됩니다.

코드: 클라우드 드라이브 동기화 엔진

KMM은 바퀴를 새로 만들지 않습니다 — rclone을 사용하여 직접 통합 동기화 계층을 구축하며, 12개 이상의 클라우드 드라이브를 지원합니다:

import subprocess

class CloudSyncEngine:
...

핵심 아이디어는 간단합니다: rclone bisync를 사용하여 양방향 증분 동기화를 수행하며, 4시간마다 cron으로 자동 실행됩니다. v0.0.1 버전에서는 각 클라우드 드라이브의 REST API를 직접 호출하는 방식을 시도했으나, 토큰 갱신 및 중단점 재개 (Breakpoint Resumption) 유지 관리 비용이 너무 높았습니다 — rclone으로 전환한 후 문제는 해결되었습니다.

완전한 수집 흐름

사용자가 Douyin(틱톡 중국판) 비디오 링크를 던지면:

1. douyin_video_intake가 메타데이터 + 자막을 가져옵니다.
2. 세 가지 경로를 병렬로 실행합니다: yt-dlp로 오디오 다운로드 → Whisper ASR로 텍스트 변환 → PaddleOCR로 핵심 프레임 텍스트 추출
3. 취합 후 generate_note()가 구조화된 노트 (YAML frontmatter + Markdown 본문)를 작성합니다.
4. create_note()가 gbrain 지식 그래프에 입력합니다.
5. sync_to_cloud()가 OneDrive로 푸시합니다.

완전 자동이며, 수동 작업이 없습니다. 수집기는 가져오기만 담당하고, 중복 제거는 gbrain의 content_hash가 담당하여 책임이 분리됩니다.

언급할 만한 디테일

• 지식 발견 (Knowledge Discovery): 매주 일요일 OneDrive를 자동으로 스캔하여, 아직 입고되지 않은 노트를 자동으로 gbrain에 등록하며, 수동 임포트에 의존하지 않습니다.
• 로컬 우선 + 전역 폴백 (Local First + Global Fallback): augmented_search()는 먼저 로컬 노트를 조회하며, score < 0.6일 때 AnySearch 수직 검색을 수행하고, 결과에 자동으로 출처를 표기합니다.
• 도서 정제 자동 트리거: book_cache_manager가 PDF 캐싱을 완료하면 자동으로 book_to_skill 파이프라인을 실행하며, 710권 이상의 도서 인덱스를 필요에 따라 정제합니다.

적용 시나리오

당신의 Agent가 이미 한동안 작동하여 수천 개의 노트와 수백 개의 지식 그래프 노드를 축적했음에도 불구하고, 여전히 "이 녀석은 아무것도 모르는 것 같다"라고 느낀다면 — 문제는 지식 섭취 (Knowledge Ingestion) 경로에 있을 가능성이 매우 높습니다. KMM은 이미 기억 시스템을 갖추고 있지만, 자동화된 지식 수집 및 클라우드 동기화 계층이 부족한 경우에 적합합니다.

저장소: github.com/mage0535/Knowledge-and-Memory-Management, MIT 라이선스.