Brain-AI Memory – 장기 실행 LLM 에이전트의 메모리 실패를 진단하는 오픈 아키텍처
요약
본 글은 장기 실행 LLM 에이전트의 메모리 실패 원인을 진단하는 오픈 아키텍처인 Brain-AI Memory를 소개합니다. 기존의 복잡한 'retrieval 문제'들을 episodic/semantic memory, procedural rule 등 여러 구성 요소로 세분화하고, 각 실패 조건과 라이프사이클을 연결하여 체계적인 분석 틀을 제공합니다.
핵심 포인트
- 에이전트 메모리 문제를 복합적으로 진단하는 오픈 아키텍처를 제시함.
- 기존의 RAG/hook 등을 세분화된 5가지 구성 요소로 재정의함.
- 실제 에이전트 시스템에서 사용한 구조와 평가 결과를 공개함.
- 벤치마크 결과(recall@3)까지 투명하게 공유하여 논의를 유도함.
에이전트가 오래된 기억을 사용하거나, 이미 기록한 것을 다시 묻거나, 규칙을 무시하거나, fallback 절차를 중간에 포기하는 문제를 모두 “retrieval 문제”로 보면 원인을 찾기 어렵습니다.
Brain-AI Memory는 RAG, hook, guard, harness, loop를 새 이름으로 부르는 프로젝트가 아닙니다. 이들을 episodic·semantic memory, procedural rule·execution, numerical state, routing, input gate로 구분하고 각각의 실패 조건과 lifecycle을 연결합니다.
몇 달간 실제 multi-project agent system에서 사용한 구조를 clean-room 방식으로 공개했습니다. 60초 실행 예제, 재사용 가능한 hook과 memory template, 운영 근거, 500문항 LongMemEval-S retrieval 결과를 포함합니다.
Benchmark의 부정적 결과도 그대로 공개했습니다. 96-keyword pointer는 indexed text를 93% 줄였지만 recall@3는 full BM25의 86.1%에서 71.0%로 낮아졌습니다.
특히 실제 agent failure가 이 component mapping에 잘 들어맞는지, 어디에서 맞지 않는지에 대한 피드백을 받고 싶습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 RSS: GeekNews (한국어)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기