$δ$-mem: Large Language Models를 위한 효율적인 온라인 메모리

요약

LLM이 장기 정보 축적 및 에이전트 시스템에서 효율적으로 작동하기 위해 $δ$-mem이라는 경량 메모리 메커니즘을 제안합니다. 이 방법은 고정된 Full-attention 백본을 델타 규칙 학습으로 업데이트되는 고정 크기의 상태 행렬로 보강하여 과거 정보를 압축합니다. $δ$-mem은 생성 과정 중 어텐션 계산에 저차원 수정을 적용함으로써, 적은 메모리 상태만으로도 기존 모델 대비 높은 성능 향상을 달성하며 특히 메모리 집약적인 벤치마크에서 큰 이점을 보여줍니다.

핵심 포인트

• $δ$-mem은 LLM의 장기 기억을 위해 고정된 백본에 온라인 상태를 추가하는 경량 메모리 메커니즘이다.
• 과거 정보는 델타 규칙 학습을 통해 업데이트되는 고정 크기의 상태 행렬로 압축된다.
• 이 방법은 어텐션 계산에 저차원 수정을 적용하여 효율적으로 메모리를 구현한다.
• 적은 온라인 메모리 상태($8 imes8$)만으로도 기존 모델 대비 높은 성능 향상을 달성한다.
• 전체 미세 조정이나 백본 교체 없이도 효과적인 메모리 기능을 제공하며, 특히 MemoryAgentBench와 같은 벤치마크에서 큰 이점을 보인다.