AI 에이전트의 기억의 딜레마: '기억하기'에서 '알기'로

당신의 AI 에이전트(Agent)가 당신이 누구인지, 무엇을 선호하는지를 기억할 수 있다면, 그것은 이미 첫 번째 단계인 기억(Memory) 문제를 해결한 것입니다. 하지만 에이전트에게 진정한 엔지니어링 가치를 부여하는 것은 다음 단계인 **지식(Knowledge)**입니다.

기억은 '본 적이 있다'는 것이고, 지식은 '사용할 수 있다'는 것입니다. 이것은 근본적인 차이입니다.

문제: 에이전트의 지식은 어디에서 오는가?

대부분의 에이전트 프레임워크의 '기억 시스템'은 한 가지 일만 수행합니다. 채팅 기록 저장, 사용자 선호도 저장, 몇 개의 키-값(key-value) 저장 등입니다. 이것은 컨텍스트 캐싱(Context Caching)이지, 지식 베이스(Knowledge Base)가 아닙니다.

당신의 에이전트가 공개 계정(Public Account)의 글을 읽고 자동으로 데이터베이스에 저장할 수 있습니까? 틱톡(TikTok) 영상을 보고 핵심 정보를 추출할 수 있습니까? 기술 서적을 다운로드하여 쿼리 가능한 기술(Skill)로 변환할 수 있습니까? 아마 불가능할 것입니다. 왜냐하면 에이전트에게는 기억 계층(Memory Layer)만 있고, 수집 계층(Collection Layer)이 없기 때문입니다.

해결책: 기억체 + 수집 파이프라인 = 지식 폐쇄 루프(Knowledge Closed Loop)

문제를 세 가지 계층으로 나눕니다:

수집 계층(40+ 도구) → 분석 계층(AI 처리) → 저장 계층(3단계 기억)

수집 계층은 웹페이지, 영상, 문서, 서적, RSS 등 모든 소스로부터 데이터를 가져오는 역할을 합니다. 분석 계층은 자동 요약, 키워드 추출, 사실 확인(Fact Check)을 통해 정보를 정제합니다. 저장 계층은 세 단계로 나뉩니다: Hot(memory tool을 통한 즉시 호출), Warm(Hindsight 벡터 검색), Cold(gbrain 지식 그래프).

코드 실전: 기사 수집 및 자동 데이터베이스 저장

from knowledge_collector import collect_web

# 임의의 웹페이지를 수집하여 본문, 키워드를 자동 추출하고 노트를 생성합니다.
...

이것은 가장 간단한 사례입니다. 그 이면에서는 실제로 다음과 같은 일이 일어납니다: trafilatura 본문 추출 → LLM 키워드 추출 → 노트 템플릿 렌더링 → gbrain 페이지 생성 → Hindsight 임베딩 인덱싱 → rclone 클라우드 드라이브 전송. 이 모든 과정이 자동화되어 있습니다.

영상 지식 수집은 더 어렵지만, 더 가치 있다

영상은 정보 밀도가 가장 높은 소스 중 하나입니다. 수집 프로세스는 다음과 같습니다:

1. yt-dlp 스트리밍 추출 → Whisper ASR 텍스트 변환 → EasyOCR/PaddleOCR 주요 프레임 텍스트 인식
2. LLM이 화면과 자막을 종합하여 구조화된 요약 생성
3. 데이터베이스 저장 + 지식 그래프 연결

단 한 줄의 명령으로 전체 링크를 트리거할 수 있습니다:

python3 -c "from knowledge_collector import collect_video; collect_video('https://www.bilibili.com/video/BV1xx411c7mD')"

3단계 검색(Recall): 동일한 지식에 대한 세 가지 검색 경로

계층	매개체	지연 시간	정밀도
Hot	Hermes Memory tool	나노초 단위	정확한 키-값
...

검색 시 FTS5 → Hindsight 시맨틱(Semantic) → gbrain 지식 그래프 순으로 3단계 백오프(Backoff)를 수행하며, 로컬에서 히트되면 네트워크를 사용하지 않습니다.

겪었던 시행착오

• 443 오류: 해결 가이드를 찾아보지 마세요. 그냥 재시도하세요. 일시적인 네트워크 변동은 생각보다 흔합니다.
• 3단계 검색의 백오프 임계값: FTS5 매칭 결과가 0보다 크면 즉시 중단하고 벡터 검색을 계속하지 마세요. 이를 통해 방대한 양의 LLM 토큰을 절약할 수 있습니다.
• 서적 정제 시 한 번에 700권을 돌리지 마세요: 먼저 book_cache_manager list를 사용하여 인덱스를 확인하고, 3~5권 정도만 파이프라인을 돌려 출력 품질을 검증한 후 배치(Batch) 처리를 진행하세요.

결론

기억은 에이전트의 인프라(Infrastructure)이며, 지식 수집은 에이전트를 진정으로 유용하게 만드는 엔진입니다. 40개의 수집 도구는 많은 것이 아닙니다. 소스가 하나 추가될 때마다 에이전트는 하나의 정보 차원을 더 갖게 됩니다. 당신의 에이전트가 웹페이지, 영상, 공개 계정, 기술 서적, 웨이보(Weibo) 등에서 지식을 자동으로 흡수하고 기존 정보와 연결할 수 있을 때, 에이전트는 비로소 자신이 무엇을 하고 있는지 진정으로 '알기' 시작할 것입니다.

단순히 당신이 말한 것을 '기억하는' 것이 아니라 말입니다.