Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
본 논문은 메모리를 모델의 본질적인 능력으로 통합한 새로운 아키텍처 MemT-1.0을 소개합니다. 이는 지속적 사전/사후 학습 파이프라인과 Mixture-of-Storage를 활용하여 정보 축적 및 활용 능력을 강화했습니다. 테스트 결과, MemT-1.0은 기존 메모리 기반 모델보다 우수하며 에이전트 작업의 성공률 개선에 기여하는 것으로 나타났습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 r/LocalLLaMA의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기메모리 네이티브(memory-native) 진화를 위해서는 메모리를 파운데이션 모델(foundation models)의 본질적인 능력으로 만들어, 정보가 지속적으로 축적되고 활용될 수 있도록 하는 것이 필요합니다. 이를 위해 우리는 메모리를 모델 계산의 일부로 내재화한 새로운 메모리 파운데이션 모델 아키텍처인 MemT-1.0을 소개합니다. Metis를 기반으로 하며, MemT-1.0은 각 턴(turn) 내에서 안정적인 토큰 레벨 메모리 업데이트 메커니즘을 가진 Gated DeltaNet-2를 사용합니다. 또한 네이티브 메모리 용량을 확장하기 위해 Mixture-of-Storage를 추가로 도입했습니다. 신중한 백본 준비 과정을 거쳐, 우리는 지속적 사전 학습(continued pre-training)과 사후 학습(post-training)으로 구성된 2단계 훈련 파이프라인을 개발했으며, 이는 34B 토큰의 훈련 데이터와 효율적인 훈련 및 추론 인프라를 통해 지원받았습니다. 우리는 MemT-1.0-Nano와 MemT-1.0-Flash로 구성된 모델 패밀리를 출시하고, 메모리 및 일반 능력에 대한 포괄적인 평가를 수행했습니다. 그 결과, MemT-1.0은 평균적으로 파라미터 기반 메모리 기준선(parametric memory baselines)보다 우수하며 검색 증강 방법(retrieval-augmented methods)과도 경쟁력을 유지하는 동시에 일반 능력을 크게 보존함을 보여주었습니다. 128K 토큰의 히스토리 길이에서, MemT-1.0-Nano는 전체 컨텍스트 KV 캐시 대비 약 1.86배의 엔드투엔드 추론 속도 향상과 지속적 저장 공간(persistent storage) 66배 감소를 달성했습니다. 검색된 절차적 경험(retrieved procedural experience)을 내재화함으로써, MemT-1.0은 에이전트 작업(agentic tasks)의 태스크 성공률을 개선하며, 메모리 네이티브 진화를 향한 실질적인 발걸음을 제공합니다.
arXiv: https://arxiv.org/abs/2610.26825 PDF: https://arxiv.org/pdf/2610.26825 GitHub: https://github.com/MemTensor/MemT-1.0 HuggingFace: https://huggingface.co/collections/MemTensor/memt-1
submitted by /u/pmttyji [link] [comments]