memt-1.0 아키텍처 분석: Gated DeltaNet-2와 Mixture-of-Storage를 활용한 에이전트 메모리 및 66배 작은

요약

memt-1.0은 Gated DeltaNet-2와 Mixture-of-Storage (MoS)를 활용하여 에이전트 메모리를 모델 계산 레이어에 직접 내재화한 아키텍처입니다. 이는 단순 RAG나 프롬프트 스태킹의 한계를 넘어, 다중 턴 작업에서 절차적 경험을 내부화합니다. 그 결과, 컨텍스트 KV 캐시 대비 추론 속도를 향상시키고 저장 공간을 대폭 줄이는 효율성을 보여줍니다.

핵심 포인트

• 메모리 내재화: 외부 RAG 대신 모델 가중치/상태에 경험을 지속적으로 기록합니다.
• 효율성 극대화: 128k 컨텍스트에서 추론 속도 향상 및 저장 공간 66배 감소를 달성했습니다.
• 일반 능력 유지: 메모리 레이어 학습에도 불구하고 기본 LLM의 일반적인 추론 능력을 유지합니다.