AI Agent의 지식 기반: 90줄의 코드로 구현하는 3단계 메모리 검색

지난주 저는 AI Agent를 위한 지식 수집 플러그인인 Knowledge-and-Memory-Management v0.0.2를 오픈소스로 공개했습니다. 단순한 또 하나의 RAG 프레임워크가 아닙니다. 이 프로젝트의 포지셔닝은 매우 명확합니다. 기반(hermes-memory-installer)은 '기억하기'를 해결하고, KMM은 '지식이 어디서 오는지, 어떻게 사용하는지'를 해결합니다.

세 가지 숫자

• 40+ 수집 도구: 웹페이지(9개 엔진), 비디오(12개 도구), 문서/OCR(9개 도구), 기사/콘텐츠(10개 소스)를 지원합니다.
• 3단계 메모리: Hot(현재 세션) → Warm(벡터 의미론, 10K 노드) → Cold(지식 그래프, 11K 페이지)
• 12+ 클라우드 드라이브 드라이버: OneDrive, Google Drive, Alibaba Cloud Drive, Baidu Netdisk 등 모두 rclone 통합 인터페이스를 사용합니다.

왜 3단계 메모리가 필요한가?

많은 AI Agent가 메모리를 단일 계층의 벡터 데이터베이스(Vector Database)로 만듭니다. 문제는 다음과 같습니다. 단기 메모리는 시의성이 중요하고, 장기 지식은 연관성이 중요하며, 전체 텍스트 검색(Full-Text Search)과 의미론적 매칭(Semantic Matching) 시나리오는 완전히 다르다는 점입니다.

KMM은 간단한 일을 수행합니다. 세 가지 엔진을 하나의 호출 체인으로 연결하는 것입니다. 이를 가장 직접적으로 보여주는 것이 lightweight_recall.py입니다:

# lightweight_recall.py — 3단계 계층 간 검색
def recall(query: str, limit: int = 10):
    results = []
...

단 95줄이며, 외부 의존성이 없습니다. 첫 번째 호출 시 3ms 이내에 FTS5(Full-Text Search) 히트가 반환되며, 의미론적 계층과 그래프 계층이 보완 역할을 합니다. 실제 테스트 결과 85%의 쿼리는 L1 단계만으로도 충분했습니다. 벡터 데이터베이스는 과대평가되었습니다. 많은 시나리오에서 전체 텍스트 검색(Full-Text Search)과 좋은 인덱싱(Indexing)의 조합은 충분할 뿐만 아니라 가장 빠릅니다.

v0.0.2의 진정으로 유용한 기능들

도서 자동 정제 파이프라인. book_cache_manager가 PDF/EPUB을 캐싱한 후 자동으로 book_to_skill을 트리거하여, 기술 서적을 구조화된 Skill + 노트로 분해합니다. 710권 이상의 도서 인덱스가 라이브러리에 있으며, 필요에 따라 캐싱하므로 전체를 다운로드할 필요가 없습니다.

SenseNova 문서 엔진. PDF(텍스트형 + 스캔형), PPT(전체 슬라이드 추출), Word(본문 + 표 + 하이라이트)를 지원합니다. python3 sensenova_dispatcher.py pdf report.pdf 명령어 한 줄로 전체 분석을 실행할 수 있습니다.

매주 일요일 자동으로 실행되는 지식 발견. OneDrive 스캔 → 로컬 새 노트 → gbrain에 자동 입력 과정을 거칩니다. 새벽 시간의 유지보수 스크립트가 고립된 페이지와 인덱스 압축을 한 번에 처리합니다.

실제 워크플로우 예시

사용자 질문: "Agent 메모리 시스템을 어떻게 설계하나요?"
  → L1 FTS5가 로컬 노트 "3단계 메모리 아키텍처"를 검색
  → L2 Hindsight가 "hot-warm-cold 모델" 관련 노트를 검색
...

로컬 지식에서 검색되지 않을 경우 자동으로 AnySearch 수직 검색(Vertical Search)으로 강등(Degrade)되며, 출처를 표기한 후 노트 라이브러리로 가져옵니다.

프로젝트 주소: github.com/mage0535/Knowledge-and-Memory-Management

LLM의 네이티브 메모리를 대체하려는 것이 아닙니다. 그 위에 제어 가능하고 감사(Auditable) 가능한 지식 계층을 제공하려는 것입니다. 도구는 이처럼 단순해야 합니다.