MemT-1.0: 메모리 네이티브 진화로의 접근

원문 발행 2026. 10. 20. 02:54원문 언어 영어AI 한국어 번역arXiv cs.CL (NLP) 원문 보기

요약

MemT-1.0은 메모리를 모델의 본질적 능력으로 통합한 새로운 '메모리 파운데이션 모델' 아키텍처입니다. 이는 Gated DeltaNet-2와 Mixture-of-Storage를 활용하여 안정적인 토큰 레벨 메모리 업데이트 및 네이티브 메모리 용량 확장을 구현했습니다. MemT-1.0은 에이전트 작업에서 높은 성공률을 보이며, 기존의 검색 증강 방법과 경쟁할 만한 성능을 보여주었습니다.

핵심 포인트

메모리를 모델 본질 능력으로 통합하는 '메모리 네이티브' 접근법 제시
Gated DeltaNet-2와 Mixture-of-Storage를 활용하여 메모리 기능을 내재화함
에이전트 작업(agentic tasks)에서 태스크 성공률을 개선하며 실용적 가치를 입증
128K 토큰 길이에서 추론 속도 향상 및 영구 저장 공간 감소 효과 확인

메모리 네이티브(Memory-native) 진화를 위해서는 메모리를 파운데이션 모델(foundation models)의 본질적인 능력으로 만들어, 정보가 지속적으로 축적되고 활용될 수 있도록 해야 합니다. 이를 위해 우리는 메모리를 모델 계산의 일부로 내재화한 새로운 메모리 파운데이션 모델 아키텍처인 MemT-1.0을 소개합니다. Metis를 기반으로 하는 MemT-1.0은 각 턴(turn) 내에서 안정적인 토큰 레벨 메모리 업데이트 메커니즘을 가진 Gated DeltaNet-2를 사용합니다. 또한, 네이티브 메모리 용량을 확장하기 위해 Mixture-of-Storage를 도입했습니다. 의도적인 백본 준비(backbone preparation)에 이어, 우리는 지속적인 사전 학습(continued pre-training)과 사후 학습(post-training)으로 구성된 2단계 훈련 파이프라인을 개발했으며, 이는 34B 토큰의 훈련 데이터와 효율적인 훈련 및 추론 인프라를 통해 지원됩니다. 우리는 MemT-1.0-Nano와 MemT-1.0-Flash로 구성된 모델 패밀리를 출시하고, 메모리 및 일반 능력을 포괄적으로 평가했습니다. 그 결과는 이들이 평균적으로 파라미터 기반 메모리 기준선(parametric memory baselines)을 능가하며, 검색 증강 방법(retrieval-augmented methods)과 경쟁할 만한 수준을 유지하면서도 전반적인 능력을 크게 보존함을 보여줍니다. 128K 토큰의 히스토리 길이에서 MemT-1.0-Nano는 전체 컨텍스트 KV 캐시 대비 약 $1.86 imes$의 엔드투엔드 추론 속도 향상과 영구 저장 공간(persistent storage) $66 imes$ 감소를 달성합니다. 검색된 절차적 경험(retrieved procedural experience)을 내재화함으로써, MemT-1.0은 에이전트 작업(agentic tasks)에서 태스크 성공률을 개선하며, 메모리 네이티브 진화를 향한 실질적인 발걸음을 제공합니다.

AI 자동 생성 콘텐츠

원문 바로가기

MemT-1.0: 메모리 네이티브 진화로의 접근

요약

핵심 포인트

댓글