몇 달 전, 저는 제가 만든 AI 에이전트의 한계에 부딪혔습니다. 실시간 채팅과 정적 프롬프트(static prompt) 기반의 간단한 RAG (Retrieval-Augmented Generation)는 처리할 수 있었지만, 제가 소비한 10,000개 이상의 기사, YouTube 강의, PDF에 대한 기억은 전혀 없었습니다. 저는 본질적으로 기억상실증에 걸린 에이전트를 만들고 있었던 셈입니다.

노트 필기 앱, 나중에 읽기(read-it-later) 도구, 심지어 커스텀 스크레이퍼(scrapers)까지 시도해 보았지만, 에이전트의 메모리로 직접 연결되는 깔끔한 파이프라인을 제공하는 것은 아무것도 없었습니다. 그것이 제가 Knowledge and Memory Management (KMM) 플러그인을 시작한 이유입니다. 이는 hermes-memory-installer를 위한 오픈 소스 확장 기능으로, 콘텐츠 소비를 구조화되고 쿼리 가능한(queryable) 지식 베이스로 변환해 줍니다.

KMM이 하는 일

KMM은 풀스택 파이프라인입니다: 수집 (collect) → 처리 (process) → 저장 (store) → 동기화 (sync). 내부적으로는 40개 이상의 수집 도구, AI 기반 노트 생성, 3단계 메모리, 그리고 rclone 기반의 클라우드 동기화를 갖춘 Python 플러그인입니다.

수집 계층 (Collection Layer, 40개 이상의 도구)

고립된 스크레이퍼 대신, KMM은 다음과 같은 작업을 위한 통합 인터페이스를 제공합니다:

• 웹 스크레이핑 (Web scraping) (9개 엔진: newspaper3k, trafilatura, readability 등)
• 비디오/오디오 (Video/audio) (yt-dlp, whisper 전사(transcription), 프레임 추출을 통한 12개 엔진)
• 기사 및 RSS (Articles & RSS) (10개 엔진: feedparser, mercury 등)
• 문서 및 OCR (Documents & OCR) (10개 엔진: MarkItDown, pypdf, tesseract 등)

각 도구는 분석 계층(analysis layer)으로 직접 전달되는 표준화된 문서(제목, 내용, 메타데이터)를 출력합니다.

분석 계층 (Analysis Layer)

수집된 콘텐츠는 선택적인 AI를 통해 처리됩니다:

• 자동 노트 생성 (Automatic note generation) (요약, 핵심 포인트)
• 지식 그래프 추출 (Knowledge graph extraction) (엔티티/관계 발견)
• NLI 사실 확인 (NLI fact-checking) (모순 탐지)
• 장별 분류를 포함한 도서 요약 (Book summarization)

저장 계층 (Storage Layer): 3단계 메모리

에이전트는 세 가지 수준의 회상 (Recall) 단계를 가집니다:

계층 (Tier)	백엔드 (Backend)	용량 (Capacity)	사용 사례 (Use Case)
Hot	memory tool 인메모리 (in-memory)	N/A	최근/빈번한 컨텍스트
Warm	Hindsight (벡터 저장소 (vector store))	~10K 노드 (nodes)	중기적 의미론적 검색 (semantic search)
Cold	gbrain (SQLite + 임베딩 (embeddings))	~11K 페이지 (pages)	장기적 아카이빙 (archival)

notes_rag 모듈은 모든 계층에 걸쳐 의미론적 검색 (semantic search)을 처리하며, 에이전트에게 가장 관련성이 높은 스니펫 (snippets)을 반환합니다.

클라우드 동기화 (Cloud Sync) (12개 이상의 드라이버)

KMM은 rclone을 사용하여 지식 베이스를 모든 클라우드에 동기화합니다:

# 예시: Cold Memory를 OneDrive로 동기화
kmm sync --from local --to onedrive:knowledge-base

지원 항목: OneDrive, Google Drive, Dropbox, Mega, pCloud, WebDAV, S3, 阿里云盘 (Aliyun Drive), 百度网盘 (Baidu Netdisk) 등.

5분 만에 시작하기

# 먼저 메모리 사이드카 (memory sidecar)를 설치하세요
pip install hermes-memory-installer

...

수집된 콘텐츠는 자동으로 처리되어 3단계 메모리에 저장되며, 의미론적 검색 (semantic search)을 위한 준비를 마칩니다.

사용해야 할 때 (그리고 사용하지 말아야 할 때)

이럴 때 사용하세요:

• AI 에이전트 또는 코파일럿 (copilot)을 위한 개인 지식 베이스를 구축 중인 경우
• 웹/비디오/문서 콘텐츠를 많이 소비하며 이를 검색 가능하게 만들고 싶은 경우
• 여러 기기 간에 휴대 가능하고 동기화 가능한 메모리가 필요한 경우

이럴 때는 건너뛰세요:

• 에이전트가 이미 맞춤형 메모리 파이프라인 (memory pipeline)을 갖추고 있는 경우 (이 도구는 확장 기능이며, 독립형 에이전트가 아닙니다)
• 휘발성(ephemeral)의 단일 세션 메모리만 필요한 경우
• 관리형 UI가 포함된 SaaS 제품을 원하는 경우 (이것은 CLI/플러그인 도구입니다)

왜 오픈 소스인가?

기존 솔루션들이 파편화되어 있었기 때문에 KMM을 만들었습니다. 스크레이퍼 (scrapers)는 수집만 하고, 노트 앱은 저장만 하며, RAG 도구는 동기화를 지원하지 않습니다. 이 플러그인은 이 모든 것을 모듈식이며 MIT 라이선스를 따르는 방식으로 하나로 묶어줍니다. 현재 v0.0.2 버전이므로 기여 (contributions)를 매우 환영합니다. 특히 새로운 수집기 (collectors), 동기화 드라이버 (sync drivers), 또는 임베딩 전략 (embedding strategies)에 대한 기여를 기다립니다.

만약 당신의 에이전트가 당신이 읽은 내용을 기억해야 한다면, Knowledge and Memory Management에 Star를 눌러주시고 이것이 당신의 스택(stack)에 어떻게 맞는지 확인해 보세요. 여러분의 피드백을 기다리겠습니다.