Knowledge-and-Memory-Management v0.0.2: 휴대 가능한 지식 수집 및 메모리 관리

Knowledge-and-Memory-Management의 v0.0.2 릴리스는 지식 기반 에이전트 (knowledge-driven agents)를 구축하는 개발자들을 위해 깔끔하고 배포 환경에 구애받지 않는 (deploy-agnostic) 업데이트를 제공합니다. 모든 하드코딩된 개인 경로가 휴대 가능한 $AGENT_HOME 변수로 대체되어, 환경별 설정 문제를 제거했습니다. 이번 버전은 웹, 비디오, 기사로부터의 지식 수집에 집중하며, 유연한 저장소를 중심으로 한 메모리 관리 (memory management)를 구축했습니다.

수집 기능 (Collection Capabilities)

지식 모듈은 세 가지 주요 소스로부터 데이터를 수집합니다:

• 웹 (Web): JavaScript가 많이 사용된 사이트를 위한 헤드리스 브라우저 (headless browser) 지원을 포함한 적응형 스크래핑 (Adaptive scraping), 정적 HTML을 위한 트리 기반 파싱 (tree-based parsing), 그리고 내장된 속도 제한 (rate limiting) 및 robots.txt 준수 기능을 제공합니다.
• 비디오 (Video): API 또는 자막 휴리스틱 (subtitle heuristics)을 통해 YouTube와 같은 플랫폼에서 스크립트를 추출하며, 제목, 재생 시간, 타임스탬프와 같은 메타데이터 (metadata)를 보존합니다.
• 기사 (Articles): 저자, 발행일, 태그를 포함한 긴 형식의 콘텐츠를 가독성 중심 (Readability-driven)으로 추출하여 구조화된 형식으로 정규화합니다.

각 수집기 (collector)는 균일한 데이터 객체를 반환하며, 메모리 시스템은 이를 저장하기 전에 인덱싱 (indexing)합니다.

$AGENT_HOME을 이용한 메모리 관리 (Memory Management)

저장소는 이제 전적으로 $AGENT_HOME에 의존하며, 기본값은 ~/agent_home이지만 환경 변수를 통해 재정의할 수 있습니다. 메모리 시스템은 두 가지 계층을 유지합니다:

• 원시 콘텐츠 (Raw content): $AGENT_HOME/data/collections/에 저장 (JSON/텍스트 스냅샷).
• 처리된 메모리 (Processed memory): $AGENT_HOME/memory/에 저장 (임베딩 (embeddings) 및 메타데이터가 포함된 벡터 인덱스 (vector index)).

중복 제거 (Deduplication)는 콘텐츠 해시 (content hashes)를 사용하여 동일한 소스를 병합하며, 야간 유지 관리 작업을 통해 오래된 항목을 정리합니다. 이 구조는 간단한 백업, 마이그레이션 (migration) 또는 Docker 볼륨 마운팅 (Docker volume mounting)을 지원합니다.

워크플로 예시 (Workflow Example)

다음 스니펫은 웹 기사를 수집하여 메모리에 저장하고 검색 쿼리 (retrieval query)를 수행합니다:

from agent.knowledge import Collector
from agent.memory import MemoryManager

...

Collector는 스크래핑 (scraping) 및 정규화 (normalization)를 처리하며, MemoryManager는 인덱싱 (indexing) 및 검색 (retrieval)을 관리합니다. 두 구성 요소 모두 설정이 필요 없는 휴대성 (zero-config portability)을 위해 $AGENT_HOME을 기준으로 동작합니다.

$AGENT_HOME이 중요한 이유

하드코딩된 경로는 로컬 개발 환경에서 스테이징 (staging) 또는 운영 (production) 환경으로 이동할 때 흔히 발생하는 마찰의 원인입니다. $AGENT_HOME 변수는 이 문제를 깔끔하게 해결합니다. 개발자는 테스트 중에 이를 임의의 디렉토리로 설정할 수 있으며, 운영 팀은 코드 수정 없이 운영 환경에서 이를 재지정할 수 있습니다. 컨테이너화된 설정에서는 $AGENT_HOME에 볼륨 (volume)을 마운트함으로써 재시작 시에도 지속적인 메모리 (persistent memory)를 보장할 수 있습니다.

확장성 및 성능

새로운 소스를 추가하려면 기본 Collector를 상속 (subclassing)받고 extract()를 구현해야 합니다. 메모리 시스템은 새로운 데이터 타입을 자동으로 수집 (ingest)합니다. 벡터 인덱스 (vector index)는 빠른 의미론적 검색 (semantic search)을 위해 HNSW를 사용하며, 수집 파이프라인 (collection pipelines)은 동시 크롤링 (concurrent crawling)을 처리할 수 있도록 완전히 비동기 (asynchronous) 방식으로 작동합니다.

이번 릴리스는 신뢰할 수 있고 환경에 구애받지 않는 지식 관리 (knowledge management)가 필요한 에이전트 개발자들에게 견고한 토대를 제공합니다. 세 가지 수집 소스는 일반적인 수집 (ingestion) 요구 사항을 충족하며, 휴대 가능한 경로 아키텍처는 다양한 인프라에 걸친 배포를 단순화합니다.