에이전트적 컨텍스트 관리 (Agentic Context Management): 에이전트의 메모리와 비용 문제를 라이프사이클 및 아키텍처 문제로
요약
AI 에이전트의 성능 저하와 비용 문제를 해결하기 위해 단순 저장 및 검색을 넘어선 '에이전트적 컨텍스트 관리(ACM)' 개념을 제안합니다. ACM은 정보의 추출, 구조화, 압축, 통합을 포함하는 라이프사이클 관리로, 비용 효율성과 추론 정확도를 동시에 확보하는 아키텍처를 지향합니다.
핵심 포인트
- 에이전트 실패의 주원인은 추론 능력보다 컨텍스트 관리 부재에 있음
- ACM은 설계, 수집, 범위 지정, 예측, 압축의 5가지 요소로 구성됨
- 단순 요약 대신 검증된 압축을 통해 충실도 유지와 선형적 비용 달성 가능
- 참조 구현체 Maximem Synap은 벤치마크에서 높은 성능을 기록함
실제 서비스 환경(Production)에서 AI 에이전트의 실패는 추론 능력이 부족해서라기보다, 추론 컨텍스트(reasoning context) 내에 있는 요소들, 즉 대화 기록(conversation histories), 거대한 프롬프트(large prompts), 방대한 도구 정의(large tool definitions), 그리고 급격히 늘어나는 도구 출력값(ballooning tool outputs)을 제대로 관리하지 못하기 때문에 발생하는 경우가 더 많습니다. 에이전트는 매 턴마다 증가하는 토큰 비용을 지불하면서 스스로 축적되는 이력에 매몰되며, 대화 내부 및 대화 간의 정보 회상(recalls) 누락을 발생시킵니다. 기존의 대응 방식은 이를 저장 및 검색(storage-and-retrieval) 문제로 취급합니다. 우리는 이러한 프레임워크가 너무 좁다고 주장합니다. 에이전트가 마음속에 담고 있는 것을 능동적으로 관리하는 것은 단순한 저장소가 아니라 하나의 라이프사이클(lifecycle)입니다. 이는 무엇을 기억할지 결정하고, 정보를 추출 및 구조화하며, 데이터 유형별로 적절한 저장소를 선택하고, 출처(provenance)를 보존하면서 통합 및 망각을 수행하며, 현재 무엇이 관련 있는지 결정하고, 다음에 무엇이 필요할지 예측하며, 중요한 것을 잃지 않으면서 예산에 맞춰 컨텍스트를 압축(compacting)하는 과정을 포괄합니다. 본격적인 서비스 환경에서 이는 단일 사용자를 넘어 조직적 범위의 계층(organizational scope hierarchy) 전체에서 작동합니다. 우리는 이 분야를 에이전트적 컨텍스트 관리(Agentic Context Management, ACM)라고 명명하고, 이를 아키텍처 설계(architecting), 수집(ingesting), 범위 지정(scoping), 예측(anticipating), 그리고 압축 및 통합(compacting & consolidation)의 다섯 가지 기본 요소(primitives)로 분해합니다. 그런 다음 경제적 근거를 제시합니다. 단순한 컨텍스트 축적은 대화 길이에 따라 토큰 비용을 이차 함수적으로(quadratically) 증가시키고, 조잡한 요약(crude summarization)은 정확도의 급격한 하락(accuracy cliff)을 대가로 선형적 비용을 얻지만, 검증된 압축(validated compaction)만이 충실도(fidelity)를 유지하면서 선형적 비용을 달성할 수 있습니다. 우리는 다섯 가지 기본 요소를 멀티 테넌트 서비스(multi-tenant service)로 구현한 참조 구현체인 Maximem Synap을 설명하며, 섹션 6에 상세히 기술된 구성 하에서 LongMemEval에서 92%, LoCoMo에서 93.2%를 기록했습니다. 마지막으로 기존 벤치마크가 아직 포착하지 못한 측면인 지연 시간(latency), 토큰 효율성(token efficiency), 컨텍스트 부패 저항성(context-rot resistance), 그리고 이 카테고리가 지향하는 의사결정 수준 및 조직 수준의 컨텍스트의 최전선에 대해 논하며 마무리합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기