AI 에이전트의 메모리 및 컨텍스트 관리 방법 5가지 (더 큰 컨텍스트 창이 모든 문제를 해결하지 못하는 이유)

AI 에이전트에게 있어 컨텍스트(Context)와 메모리(Memory)는 완전히 같은 개념은 아닙니다. 대용량 컨텍스트 창을 가진 모델은 많은 양의 정보를 처리할 수 있지만, 그것이 반드시 무엇을 기억하고 무엇을 잊어야 할지, 또는 기억하는 정보가 여전히 정확한지를 결정할 수 있다는 것을 의미하지는 않습니다. 이러한 문제를 관리하는 여러 가지 방법들이 있습니다. 일부는 정보를 저장하는 데 초점을 맞추고, 다른 일부는 정보를 검색하거나 여러 에이전트 간에 접근 가능하게 만드는 데 중점을 둡니다. 이러한 접근 방식들은 상호 배타적이지 않으며, 대부분의 시스템은 이들을 결합함으로써 이점을 얻을 수 있습니다.

1. 대화 기록 (Conversation history)
   가장 간단한 방법은 이전 상호작용을 저장하고 관련 메시지를 미래 요청에 포함하는 것입니다. 구현하기는 비교적 쉽지만, 대화가 길어질수록 토큰(token) 사용량이 증가하고 유용한 정보를 찾기 어려워집니다. 프롬프트 캐싱(Prompt caching)은 비용과 지연 시간을 줄일 수 있지만, 실제로 어떤 정보가 관련성이 있는지 결정하는 문제는 해결하지 못합니다. 또한, 대화 로그를 유지하는 것이 전용 메모리 시스템을 갖는 것과 반드시 같지는 않습니다.

2. 요약된 메모리 (Summarized memory)
   전체 대화를 컨텍스트로 유지하는 대신, 시스템은 주기적으로 이를 요약하고 중요한 세부 사항을 저장합니다. 이는 전달해야 하는 정보의 양을 줄여주지만, 이 과정에서 일부 세부 사항이 손실될 수 있습니다. 또한, 요약 자체에 부정확성이 도입될 수도 있습니다. 이전의 요약을 반복적으로 요약하는 시스템에서는 이러한 오류가 시간이 지남에 따라 축적될 수 있습니다. 주된 어려움은 나중에 유용해질지 모르는 정보가 무엇인지 알지 못할 때 어떤 정보를 보존해야 할지를 결정하는 것입니다.

3. 검색 기반 메모리 (Retrieval-based memory)
   정보는 외부적으로 저장되고 필요할 때 검색되며, 종종 RAG 시스템에서 사용되는 기술과 유사한 방법을 사용합니다. 외부 문서를 검색하는 것과 에이전트 자체의 저장된 경험을 검색하는 것 사이에는 구분이 있지만, 그 근간이 되는 많은 검색 기술들은 둘 다에 적용될 수 있습니다. 이 접근 방식은 모든 것을 컨텍스트 창에 로드하지 않고도 에이전트가 방대한 양의 정보에 접근할 수 있도록 합니다.

하지만 검색 품질이 중요해집니다. 시스템은 오래된 정보를 가져오거나, 관련 세부 사항을 놓치거나, 실제로 가장 유용하지는 않지만 쿼리와 유사하게 보이는 정보를 우선시할 수 있습니다. 시맨틱 검색(Semantic search), 키워드 매칭(keyword matching), 메타데이터 필터(metadata filters), 그리고 하이브리드 검색(hybrid retrieval)이 도움이 될 수 있지만, 어떤 것도 항상 올바른 정보가 검색됨을 보장하지는 못합니다.
4. 구조화된 메모리(Structured memory)
모든 것을 대화나 요약으로 저장하는 대신, 정보는 특정 레코드 형태로 구성됩니다. 여기에는 사용자 선호도, 프로젝트 세부 정보, 이전 결정 사항 또는 작업 상태 등이 포함될 수 있습니다. 구현은 JSON 파일처럼 간단할 수도 있고, 기록을 업데이트하고 검증하기 위한 더 진보된 메커니즘이 있는 데이터베이스를 포함할 수도 있습니다. 구조화된 정보는 검색하고 수정하기가 더 쉬울 수 있지만, 충돌하는 레코드는 여전히 처리해야 합니다. 예를 들어, 사용자가 이전에 저장된 선호도를 변경하면, 시스템은 어떤 버전이 현재 버전인지 판단할 방법이 필요합니다. 이전 기록을 덮어쓸 수도 있고, 타임스탬프와 함께 두 버전을 모두 보존할 수도 있으며, 정보가 충돌할 경우 명확한 설명을 요청할 수도 있습니다.
구조화된 메모리는 검색 기반 접근 방식과 결합될 수도 있습니다.
5. 에이전트 간 공유 컨텍스트(Shared context across agents)
이것은 별도의 메모리 기술이라기보다는 아키텍처적 접근 방식에 가깝습니다. 완전히 독립적인 정보를 유지하는 대신, 여러 에이전트가 공유 데이터 소스에 접근할 수 있습니다. 이는 중복을 줄이고 조정 능력을 향상시킬 수 있으며, 특히 에이전트들이 관련 작업을 수행할 때 유용합니다. 하지만 공유 저장소는 추가적인 문제를 야기합니다. 두 에이전트가 동시에 동일한 정보를 업데이트하려고 시도할 수 있습니다. 한 에이전트는 다른 에이전트가 이미 수정하거나 무효화한 레코드에 의존할 수도 있습니다. 또한, 모든 에이전트가 반드시 같은 정보에 접근해야 하는 것은 아니므로 권한(Permissions) 역시 중요해집니다. 심지어 에이전트들이 동일한 데이터를 공유하더라도, 각기 다르게 해석할 수 있습니다.

공유 컨텍스트는 협업을 개선할 수 있지만, 여전히 접근(access), 업데이트(updates), 일관성(consistency)을 관리하는 메커니즘이 필요합니다. 오래된 메모리(outdated memory) 문제는 정보 저장과 효율적인 검색에만 국한되지 않습니다. 에이전트는 또한 자신이 검색하는 정보가 여전히 유효한지 판단해야 합니다. 6개월 전에 저장된 사용자 선호도, 프로젝트 결정 또는 문서 조각이 여전히 정확할 수도 있습니다. 혹은 완전히 변경되었을 수도 있습니다. 타임스탬프(timestamps)만으로는 이를 해결할 수 없습니다. 어제 기록된 정보는 이미 오래되었을 수 있는 반면, 몇 년 전에 저장된 것은 완벽하게 유효할 수도 있습니다. 또한 그 정보가 처음부터 부정확했을 가능성도 있습니다.

에이전트는 대화를 오해하거나, 잘못된 사실을 추출하거나, 가정을 확정된 정보로 저장할 수 있습니다. 이 때문에 단순히 나이가 아니라 저장된 정보의 출처(source)와 신뢰성(reliability)이 중요합니다. 버전 관리(Versioning), 출처 추적(source tracking), 명시적 업데이트(explicit updates), 그리고 검증 메커니즘(validation mechanisms)은 오래되었거나(outdated), 불확실하거나(uncertain), 부정확한 정보와 구별하는 데 도움이 될 수 있습니다. 하지만 이러한 메커니즘들은 추가적인 복잡성을 야기합니다.

다양한 애플리케이션은 이러한 접근 방식의 서로 다른 조합을 필요로 할 것입니다. 짧은 대화를 처리하는 에이전트가 장기 프로젝트를 관리하거나 다른 에이전트와 협업하는 에이전트와는 매우 다른 메모리 요구 사항을 가집니다.

AI 에이전트를 구축하는 사람들에게 있어 실질적으로 더 어려운 점은 무엇일까요? 유용한 정보를 기억하게 만드는 것인가, 아니면 오래되었거나 관련 없는 컨텍스트에 의존하는 것을 방지하는 것인가요?
/u/FulcraDynamics 제출 [링크] [댓글]