AI Agent의 기억 시스템은 보통 하나의 문제, 즉 「기억하기」만을 해결합니다. gbrain은 지식 그래프 (Knowledge Graph)를 저장하고, Hindsight는 벡터 (Vector)를 저장하며, Memory tool은 선호도 (Preference)를 저장합니다. 세 개의 저장소에 데이터가 가득 쌓여 있어도, Agent에게 "지난주에 봤던 Agent memory에 관한 기사가 뭐라고 했지?"라고 물으면 — 대답하지 못합니다. 기억하지 못해서가 아니라, 기억 시스템에 「수집 (Collection)」 단계가 없기 때문입니다.

이것이 바로 Knowledge-and-Memory-Management (KMM)의 포지셔닝입니다. 단순한 또 다른 기억 데이터베이스가 아니라, 지식 수집 → 정제 → 호출 (Retrieval) → 동기화로 이어지는 전체 링크 플러그인입니다. v0.0.2는 이 링크를 완성했습니다.

아키텍처 사고방식: 「수집」과 「기억」의 디커플링 (Decoupling)

KMM은 기억을 저장하지 않습니다. 대신 다음 세 가지 일만 수행합니다:

1. 수집 (Collection) — 40개 이상의 도구로부터 원시 지식을 가져옵니다.
2. 정제 (Refinement) — 원시 자료를 구조화된 노트 + 지식 그래프 (Knowledge Graph) 노드로 변환합니다.
3. 동기화 (Synchronization) — OneDrive에 기록하여 모든 기기가 동일한 지식 풀을 공유하게 합니다.

아래는 3단계 수집 파이프라인 (Pipeline)의 개요입니다:

3단계 호출 (Retrieval): 어떤 지식도 뒤처지지 않게 하기

검색 시 먼저 로컬 FTS5를 확인하고 (밀리초 단위), 일치하는 것이 없으면 Hindsight 벡터 (Semantic Similarity, 의미적 유사성)를 거쳐, 그래도 찾지 못하면 gbrain 지식 그래프 (Knowledge Graph, 연관 추론)로 넘어갑니다. 3단계의 보완 체계를 통해 "찾을 수 없는" 상황은 거의 발생하지 않습니다.

코드 스니펫: rclone을 이용한 클라우드 드라이브 양방향 동기화

KMM의 CloudSyncEngine은 바퀴를 새로 발명하지 않고, rclone을 사용하여 통합 동기화 계층을 직접 구현합니다. 핵심 코드는 매우 직관적입니다:

class CloudSyncEngine:
    def __init__(self):
        self._check_rclone()
...

특별한 기술이 들어간 것은 아니지만, 핵심은 아키텍처 결정입니다. rclone을 사용하여 12개 이상의 클라우드 드라이브 (OneDrive / 阿里云盘 / 百度云盘 / Dropbox / Mega / 天翼云 등)를 지원함으로써, 각 클라우드 드라이브마다 전용 SDK를 작성할 필요가 없습니다. 하나의 설정으로 양방향 동기화가 가능하며, cron을 통해 4시간마다 자동으로 실행됩니다.

완전한 수집 흐름 (Collection Flow)

사용자가 틱톡 (Douyin) 영상 링크를 던지면 → collect_video()가 자동으로 세 가지 경로를 병렬로 실행합니다: yt-dlp로 오디오 다운로드 → Whisper ASR로 텍스트 변환 → PaddleOCR/EasyOCR로 핵심 프레임 텍스트 추출. 출력 결과가 요약되면 → generate_note()가 구조화된 노트를 작성하고 → create_note()가 gbrain 지식 그래프에 입력하며 → sync_to_cloud()가 OneDrive로 전송합니다. 모든 과정이 자동이며, 사람의 개입이 전혀 필요 없습니다.

겪었던 시행착오 (Pitfalls)

• 클라우드 드라이브 동기화를 Python으로 재작성하지 마세요. KMM v0.0.1에서는 각 클라우드 드라이브의 REST API를 직접 호출하려고 시도했습니다. 하지만 토큰 갱신, 분할 업로드, 이어받기 등을 모두 직접 처리해야 했고 유지보수 비용이 매우 높았습니다. v0.0.2에서 rclone bisync로 전환한 후 문제는 사라졌습니다.
• 비디오 분석은 음성만 봐서는 안 됩니다. 틱톡의 많은 기술 계정들은 자막과 PPT 화면을 사용하여 내용을 전달하며, 음성은 정보량의 60%만을 차지합니다. 반드시 OCR을 통해 화면을 보충해야 하며, 그렇지 않으면 방대한 지식을 놓치게 됩니다.
• 중복 제거는 수집 계층에서 하지 마세요. 수집 계층은 가져오는 역할만 수행하고, 중복 제거는 gbrain의 content_hash와 nightly_maintenance의 orphan compaction에 맡깁니다. 이렇게 책임 분리 (Separation of Concerns)를 하는 것이 훨씬 깔끔합니다.

적용 시나리오

만약 당신의 AI Agent가 이미 일정 기간 작동하여 수천 개의 노트와 수백 개의 지식 그래프 노드를 쌓았음에도 불구하고, 여전히 "마치 아무것도 모르는 것 같다"고 느껴진다면 — 문제는 지식 섭취 (Ingestion) 체인에 있을 가능성이 높습니다. KMM은 이미 기억 시스템을 갖추고 있지만, 자동화된 지식 수집 및 동기화 계층이 부족한 사용자에게 적합합니다.

저장소: github.com/mage0535/Knowledge-and-Management, MIT 라이선스, PR 환영.