대부분의 팀들은 AI 메모리를 저장(storage) 문제로 다룹니다: 벡터 데이터베이스를 선택하고, 임베딩을 덤프하며, 유사성 검색(similarity search)을 실행합니다. 이것은 데모에서는 작동하지만 프로덕션 환경에서는 조용히 무너집니다.

메모리는 실제로는 아키텍처 문제이며, 세 가지 계층으로 나뉩니다.

수집 (Ingestion)

무엇이 보존할 가치가 있는지, 그리고 그것이 어떻게 단위(unit)로 분해되는지를 결정합니다. 모든 것을 저장하면 검색이 노이즈에 빠지고; 너무 적게 저장하면 에이전트는 중요한 것을 잊어버립니다.

저장 (Storage)

그 단위들이 어디에 위치하며, 어떻게 인덱싱되는지를 결정합니다. 백엔드 선택은 지연 시간(latency), 확장성(scale), 그리고 얼마나 풍부한 검색(query)을 할 수 있는지 사이의 실제적인 상충 관계입니다.

검색 (Retrieval)

대부분의 시스템이 실패하는 곳이 바로 여기입니다. 왜냐하면 이것은 단순한 유사성 검색 그 이상이기 때문입니다. 강력한 검색은 쿼리를 분석하고, 여러 전략을 실행하며, 결과를 융합(fuse)한 다음, 단순히 코사인 거리(cosine distance)가 아닌 최신성과 중요도로 점수를 매깁니다. 에이전트가 끊임없이 의존하는 메모리가 한 번 본 것과 같은 순위를 차지해서는 안 됩니다.

이것을 제대로 구현하면, 동일한 모델이 갑자기 훨씬 더 유능해 보이는 것처럼 보입니다. 왜냐하면 마침내 적절한 시점에 올바른 컨텍스트를 보기 때문입니다.

계층별 상세 분석, 저장 트레이드오프, 그리고 의사 결정 프레임워크는 다음을 참조하세요: AI 메모리 시스템 디자인