에이전트형 LLM 시스템을 위한 공유 선택적 영구 메모리
요약
본 글은 에이전트형 LLM 시스템의 컨텍스트 문제를 해결하기 위해 '공유 선택적 영구 메모리(shared selective persistent memory)' 아키텍처를 제안합니다. 이 메모리는 세션별 추론 흔적은 버리고, 작업 사양, 데이터 스키마 등 재사용 가능한 핵심 컨텍스트만 식별하여 유지합니다. 이를 통해 협업 환경에서 중복 없이 높은 효율성과 성능을 입증했습니다.
핵심 포인트
- 공유 선택적 영구 메모리로 LLM 에이전트의 컨텍스트 문제를 해결함.
- 작업 사양, 데이터 스키마 등 핵심 정보를 식별하고 유지하여 재사용성을 높임.
- 역할 기반 접근 통제로 사용자 간 협업 및 지식 공유가 가능해짐.
- 제로-토큰 새로고침으로 LLM 호출을 줄여 작업 시간을 14배 단축함.
- 전통적인 방식 대비 높은 작업 완료율(96%)과 토큰 효율성을 달성함.
다중 턴 도구 사용을 통해 코드를 생성하는 에이전트형 LLM 시스템은 근본적인 컨텍스트 문제를 안고 있습니다: 각 세션은 이전 세션을 생산적으로 만들었던 구성 선택, 도메인 제약 조건, 데이터 스키마 및 도구 사용 패턴들을 버리고 '0'부터 시작합니다. 전체 대화 기록을 무작정 영구 저장하는 것은 토큰 효율성이 떨어지고 역효과를 냅니다: 관련 없는 컨텍스트는 생성 품질을 저하시킵니다. 우리는 공유 선택적 영구 메모리(shared selective persistent memory)라는 아키텍처를 소개합니다. 이 아키텍처는 세션별 추론 흔적은 버리는 동시에, 재사용 가능한 네 가지 범주(작업 사양, 데이터 스키마, 도구 구성 및 출력 제약 조건)의 컨텍스트를 식별하고 유지합니다. 결정적으로, 이 메모리는 공유됩니다: 선택적 메모리를 캡슐화한 작업 공간은 역할 기반 접근 통제(role-based access control)를 통해 사용자 간에 전송될 수 있어, 중복적인 사양 없이 협업적 재사용을 가능하게 합니다. 우리는 이를 배포된 협업 작업 공간 플랫폼에 구현했으며, 여기서 LLM 에이전트는 이기종 소스(CSV, SQL, REST API 및 MCP 서버)로부터 Git 버전 관리되는 아티팩트(대시보드, 보고서 및 데이터 기반 문서)를 생성, 편집 및 유지합니다. 보완적인 제로-토큰 데이터 새로고침 메커니즘은 생성된 프로그램과 런타임 데이터를 분리하여, 재호출 없이도 아티팩트 재사용을 가능하게 합니다. 세 가지 엔터프라이즈 시나리오에 걸쳐, 공유 선택적 영구 메모리는 96%의 작업 완료율을 달성했습니다 (메모리가 없을 때 79%, 전체 기록 사용 시 71% 대비). 제로-토큰 새로고침은 반복적인 업데이트에 대한 LLM 재호출을 제거하여 (작업 시간 14배 감소), 요약 기반 생성은 원시 데이터 주입 대비 호출당 토큰 비용을 97배 절감합니다. 네 개의 공개 데이터셋에서 복제 실험을 통해 일반화 가능성을 확인했으며, 제로-토큰 새로고침은 12/12번의 시도에서 성공했습니다. 주목할 점은, 무작정 전체 기록을 영구 저장하는 방식은 오래된 흔적으로 에이전트를 편향시켜 완료율을 적극적으로 저하시키는 반면, 선택적 메모리는 두 극단적인 방법보다 우수한 성능을 보였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv Codex (cs.SE)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기