지식 수집 및 기억 관리: 드디어 AI에 「장기 기억」과 「정보 소화 시스템」을 장착했습니다

Agent를 연구하는 분들이라면 모두 공감할 것입니다. AI가 대화의 문맥(Context)은 기억할 수 있지만, 세션(Session)을 넘나드는 지식 관리는 매우 까다로운 문제입니다. 노트는 OneDrive 여기저기에 흩어져 있고, 공식 계정(公众号)의 글은 읽고 나면 사라지며, 틱톡(TikTok) 영상은 보고 나면 잊어버립니다. 저는 3주 동안 Hermes Memory Installer 기반을 활용하여 Knowledge-and-Memory-Management v0.0.2를 구축했으며, 이는 「지식이 어디서 오는지, 어떻게 저장하는지, 어떻게 찾는지」에 대한 폐쇄 루프(Closed loop) 문제를 해결하기 위함입니다.

결론부터 말씀드리면: 40개 이상의 수집 도구 + 3단계 기억 검색 + 클라우드 드라이브 양방향 동기화 프로세스를 완성했습니다.

세 가지 핵심 모듈

**수집층 (Collection Layer)**은 40개 이상의 엔진을 통합하여 출처에 따라 9개 그룹으로 분류했습니다. 웹페이지의 경우 Scrapling(Cloudflare 통과 가능)과 Chrome DevTools 프로토콜을 백업으로 사용하며, 영상은 yt-dlp + Whisper ASR + EasyOCR의 다단계 폴백(Fallback) 체인을 갖추고 있습니다. 문서의 경우 새롭게 추가된 SenseNova 3종 세트(PDF/PPT/Word 전체 추출, 스캔본도 처리 가능)를 활용합니다. 가장 유용한 개선 사항은 book_cache_manager입니다. 책을 다운로드하면 자동으로 정제 파이프라인(Refinement pipeline)이 트리거되어, PDF를 장별로 분할하고, 지식 포인트를 추출하며, Skill과 노트를 생성하는 전 과정을 무인으로 수행합니다.

**저장층 (Storage Layer)**은 Hot(Memory tool 즉시 주입) + Warm(Hindsight 벡터 기억, 10K 노드) + Cold(gbrain 지식 그래프, 11K 페이지)의 3단계로 구성됩니다. lightweight_recall은 FTS5 → 벡터(Vector) → 그래프(Graph) 순으로 자동 단계적 검색(Degraded retrieval)을 수행하며, 각 결과에는 출처 식별자가 포함됩니다.

**동기화층 (Sync Layer)**은 rclone 통합 인터페이스를 통해 OneDrive와 4시간마다 양방향 증분 동기화(Incremental sync)를 수행합니다. knowledge_discovery는 매주 일요일 클라우드 노트를 자동으로 스캔하여 새로운 파일을 발견하면 gbrain에 입력합니다.

실전 코드 한 토막

공식 계정(公众号)의 글을 캡처하여 자동으로 데이터베이스에 입력하는 과정:

from knowledge_collector import collect_web
from notes_rag import create_note
from cloud_sync import sync_to_cloud
...

전체 링크는 단 세 줄로 구성됩니다 — 수집, 노트 생성, 동기화. AugmentedSearch는 로컬 검색 결과의 점수(score)가 0.6 미만일 경우, 자동으로 AnySearch의 금융(finance)/학술(academic)/법률(legal) 등 수직적 도메인(Vertical domain) 검색을 수행하며, 결과에 출처를 표기하여 노트 라이브러리로 즉시 가져올 수 있습니다.

개선 사항

현재 도서 정제 파이프라인이 아직 충분히 안정적이지 않습니다. PDF 차트 추출 시 간혹 데이터가 누락되기도 하며, 이중 엔진 폴백(pdfplumber → pdftotext → pdfminer)을 통해 보완하고는 있지만 표(Table) 복원율은 개선의 여지가 있습니다. 영상 대량 전사(Transcription) 시 10개 병렬 처리 과정에서 Whisper의 메모리 OOM(Out of Memory) 현상이 간혹 발생하여, 다음 버전에서는 큐(Queue)를 통한 속도 제한(Rate limiting) 기능을 추가할 계획입니다.

프로젝트는 오픈 소스로 공개되어 있으며, 저장소는 여기에 있습니다. 유사한 문제를 해결하려는 분들의 PR(Pull Request)이나 Issue 제기를 환영합니다.