Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
LiveMem은 장기 실행되는 LLM 에이전트의 컨텍스트 교체 시 발생하는 상태 단절 문제를 해결하기 위한 새로운 메모리 증강 방법론을 제안합니다. 고정 용량의 메모리 상태를 통해 활성 KV 윈도우 외부의 역사적 정보를 보존하며, 지속적인 추론 능력을 제공합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기장기 실행되는 어시스턴트와 에이전트는 결국 컨텍스트 (context) 범위를 벗어나는 상호작용 스트림을 소비합니다. 기존의 컨텍스트 유지, 요약 및 검색 방식은 선택된 이력에 대한 접근은 보존하지만, 작업 컨텍스트가 변경될 때 전체 라이프사이클(lifecycle)에 걸친 지속적인 상태를 제공하지는 못합니다. 우리는 이러한 누락된 추론 능력을 '컨텍스트 교체 시의 상태 연속성 (state continuity under context turnover)'으로 정의합니다. 즉, 활성 컨텍스트와 독립적인 수명을 가진 고정 용량의 메모리 상태를 통해 계산을 계속해서 이어가는 것입니다. 우리는 사전 학습된 풀 어텐션 (full-attention) LLM에 메모리 상태를 증강하는 내재적 메모리 방법인 extbf{LiveMem}을 소개합니다. 이 방법은 메인 어텐션 경로 (main attention path)가 제한된 KV 윈도우 (KV window)를 유지하는 동안, 전체 라이프사이클에 걸쳐 역사적 정보를 보존하는 메모리 상태를 가집니다. 컨텍스트 교체 및 메모리 상태 유지, 메모리 지향적 사후 학습 (post-training), 그리고 상태 인식 서빙 (state-aware serving)은 원래의 토큰이 해제된 이후에도 이 메모리 상태가 부하를 견딜 수 있도록 공동으로 기여합니다. 우리의 실험에 따르면 LiveMem은 평가된 시스템 및 기타 내재적 메모리 방법들 사이에서 선도적인 종합 성능을 달성했습니다. LongMemEval에 대한 실험은 LiveMem이 지원 근거가 현재 컨텍스트에서 제거된 경우에도 메모리 상태를 기반으로 질문에 답할 수 있음을 보여주며, 근거 거리 분석 (evidence-distance analysis)은 유용한 정보가 활성 윈도우 너머까지 지속됨을 보여줍니다. 따라서 LiveMem은 지속적인 LLM 추론을 위한 별개이며 상호 보완적인 추상화로서 상태 연속성을 확립합니다.