3단계 메모리 회상: AI Agent가 '기억하기'에서 '알기'로 진화하는 방법

2년 전 제가 첫 번째 Agent를 작성했을 때, 가장 골치 아팠던 문제는 모델이 충분히 똑똑하지 않다는 것이 아니었습니다. 바로 새로운 세션을 열 때마다 기억을 잃어버린다는 점이었습니다. 이후 RAG가 등장하고 벡터 데이터베이스 (Vector Database)가 생겼지만, 새로운 문제가 발생했습니다. 노트는 로컬에 흩어져 있고, 논문은 PDF 안에 있으며, 즐겨찾기한 웹페이지는 북마크에 있고, 지식 그래프 (Knowledge Graph)는 별도로 구축되어 있었습니다. 세 개의 저장소가 서로 연결되지 않아, 회상 (Recall) 시 각자 따로 검색하게 되었고, 결과적으로 Agent의 '기억'에 틈이 생겼습니다. 동일한 주제에 대해 FTS5는 한 건을 맞추고, 시맨틱 검색 (Semantic Search)은 다른 건을 맞추며, 지식 그래프는 세 번째 정보를 내놓지만, 이를 통합해 주는 존재가 없었습니다.

Knowledge-and-Memory-Management v0.0.2의 핵심 이념은 한 문장으로 요약됩니다: 지식의 가치는 얼마나 많이 저장했느냐가 아니라, 호출할 때 관련 자료 전체를 한 번에 꺼낼 수 있느냐에 달려 있다.

3단계는 독립된 3단계가 아니라 하나의 체인이다

이 프로젝트는 FTS5 (SQLite Full-Text Search) → Hindsight (PG16 Semantic Vector) → gbrain (지식 그래프 키워드)로 이어지는 체인형 회상 (Chain Recall)을 구현했습니다. 세 개의 인터페이스를 Agent가 직접 선택하게 하는 것이 아니라, lightweight_recall.py라는 하나의 엔트리포인트를 통해 자동으로 3단계를 수행합니다:

사용자 질의
  → L1: FTS5 전체 텍스트 검색 (state.db, 0.1s)
  → 히트 스코어(score) ≥ 0.6 시 즉시 반환 (90%의 시나리오)
...

코드는 매우 간결합니다:

from knowledge_management.lightweight_recall import recall

result = recall("Agent 메모리 시스템 설계", top_k=10)
...

회상보다 더 중요한 것: 수집의 폐쇄 루프 (Collection Closed-loop)

단순히 RAG를 구축하는 것은 누구나 할 수 있지만, 진정한 차이를 만드는 것은 지식이 어떻게 들어오느냐입니다. 이 프로젝트는 이 점을 중심으로 완전한 수집 파이프라인 (Collection Pipeline)을 설계했습니다. 웹페이지 9종 엔진 (Scrapling 안티 크롤링 포함), 비디오 12종 도구 (Douyin 배치 ASR 포함), 문서 SenseNova 3종 세트 (PDF/PPT/Word 전체 추출), 710권 이상의 도서 자동 정제 파이프라인을 갖추고 있습니다. 수집이 완료되면 노트 저장, 지식 그래프 입력, 클라우드 드라이브 동기화가 일련의 과정으로 자동 실행되어 수동으로 옮길 필요가 없습니다.

v0.0.2에는 지식 발견 (Knowledge Discovery) 모듈도 추가되었습니다. 매주 일요일 OneDrive의 새로운 노트를 자동으로 스캔하여 gbrain에 입력하고 고립된 페이지를 수정합니다. 사용자가 능동적으로 '저장'할 필요조차 없이, Agent가 스스로 발견합니다.

개발자 관점

이 시스템은 GitHub에 오픈 소스로 공개되어 있으며 (mage0535/Knowledge-and-Memory-Management), hermes-memory-installer 기반 위에 gbrain + Hindsight에 의존합니다. 설치는 bash install.sh 한 번으로 끝납니다. 만약 이미 Hermes Agent를 실행 중이라면, 이것을 추가하는 것은 Agent에게 '장기적인 직업적 기억'을 장착해 주는 것과 같습니다. 단순히 채팅 기록을 기억하는 것이 아니라, 진정으로 지식을 활용해 업무를 수행할 수 있게 됩니다.

심지어 개인 지식 베이스로 사용할 수도 있습니다. 웹페이지 수집 → 자동 노트 생성 → OneDrive 동기화로 이어지는 과정이 순수 커맨드라인(CLI) 작업으로 이루어져 Notion보다 훨씬 빠릅니다.