VikingMem: 상태 유지 LLM 기반 애플리케이션을 위한 메모리 베이스 관리 시스템

대규모 언어 모델 (Large Language Models, LLMs)은 대화형 애플리케이션에 혁신을 가져왔으나, 모델의 유한한 컨텍스트 창 (context windows)은 상태 유지 (stateful) 및 장기적 상호작용을 유지하는 데 있어 중요한 데이터 관리 과제를 제기합니다. 기존의 메모리 접근 방식은 종종 불완전한 메모리로 이어지는 단순한 추출 방식에 의존하거나, 챗봇과 같은 단일 사용 사례에 맞춤화된 경직된 단일 목적 메모리 추출 프롬프트를 사용합니다. 결과적으로, 이러한 방식은 일반화 능력이 부족하며 다양한 다운스트림 태스크 (downstream tasks)에서 성능이 저하됩니다. 이러한 격차를 해소하기 위해, 우리는 장기적 상호작용의 지속적인 상태를 관리하기 위한 새로운 데이터 관리 패러다임인 메모리 베이스 (Memory Base)를 소개합니다. 이는 세 가지 핵심 원칙을 특징으로 합니다: 원시 정보 스트림으로부터 가치 높은 메모리를 선택적으로 추출하는 것; 메모리 내용이 점진적으로 요약, 수정되며 최근의 상호작용을 우선시하도록 시간적 가중치가 부여되는 내재적 상태 유지 및 진화; 그리고 교육, 추천, 에이전트 메모리를 포함한 다양한 애플리케이션 전반에 걸쳐 견고한 전이성을 갖도록 설계된 일반화 가능한 추상화 패러다임입니다. 이러한 토대 위에, 우리는 VikingDB 벡터 엔진 상에 구현된 엔드 투 엔드 (end-to-end) 메모리 베이스 관리 시스템인 VikingMem을 제시합니다. VikingMem은 상호 연결된 이벤트 (event) 및 엔티티 (entity) 추상화를 통해 이 패러다임을 구체화합니다. 이는 복잡한 정보 스트림을 선택적으로 처리하기 위해 이벤트 중심의 메모리 추출 기능을 갖추고 있으며, 엔티티는 상태 유지 진화를 달성하기 위해 이벤트에 의해 동적으로 업데이트됩니다. 주제별 타임라인 (topic-wise timeline)을 통한 시간적 압축과 시간 가중 회상 (time-weighted recall)을 사용하여, 시스템은 점진적으로 고수준의 요약 메모리를 생성하고, 최근 항목을 우선시하며, 오래된 항목은 압축하고 희석시킵니다. 장기 메모리 벤치마크에 대한 광범위한 평가 결과, VikingMem은 대화형 애플리케이션에 필수적인 낮은 지연 시간 (low latency)을 유지하면서도 메모리 검색 효율성 측면에서 베이스라인 대비 최대 30% 높은 성능을 입증했습니다.