RT @AYi_AInotes: 큰 주장을 하나 하자면, 방금 오픈소스로 공개된 MemT-1.0은 대규모 언어 모델(LLM)이 무상태 계산기에서 자가 진화 생명체로 나아가는 분수령의 순간일 가능성이 높습니다.
따라서 AGI(범용 인공지능)로 가는 길을 막는 것은 결코 충분하지 않은 컴퓨팅 파워가 아닙니다. 핵심은 과거 모든 수천억 개 매개변수급 LLM이 본질적으로 심각한 순행성 망각증(forward forgetting syndrome)을 앓고 있다는 점입니다. 오늘 MemT-1.0이 최초로 상용 수준의 네이티브 메모리 아키텍처를 완전히 오픈소스로 공개했기 때문입니다.
이는 단순히 긴 컨텍스트나 외부 RAG(Retrieval-Augmented Generation)에 의존하는 내부 경쟁(내권, 內卷)을 하는 대신, 글로벌 최초로 MoS 스토리지 전문가 혼합 아키텍처를 구현했습니다.
메모리를 모델의 순전파(forward propagation) 과정에서 네이티브 상태로 만든 첫 사례이며, 256K 길이의 히스토리 처리 시 비디오 메모리(VRAM) 사용량을 무려 120배 절감하여 AI가 대화를 한 번 마칠 때마다 '뇌'를 초기화해야 하는 숙명에서 완전히 벗어나게 했습니다.
총 66페이지에 달하는 이 기술 보고서에서, MemTensor 팀은 36B와 288B 두 모델을 통해 하나의 사실을 증명했습니다. 바로 AI가 인간의 뇌처럼 매번 상호작용할 때마다 내부 메모리 행렬을 동적으로 지우고 쓰는 법을 배울 수 있다면, 1040가지의 역사적 시행착오 경험을 프롬프트에 채워 넣지 않아도 모델의 근육적인 직관으로 직접 내재화될 수 있다는 것입니다.
MemT-1.0은 36B Nano와 288B Flash 두 가지 크기로 출시되었으며, Gated DeltaNet-2 및 Mixture-of-Storage 메커니즘을 통해 방대한 상호작용 경험을 모델의 네이티브 계산 상태로 내재화했습니다.
핵심 아키텍처와 3가지 돌파점:
- 모델 아키텍처 (GDN-2): 표준 Transformer Block 옆에 Native Memory Block을 병렬 연결하고, 삭제 게이트(erasure gate), 쓰기 게이트(write gate), 망각 게이트(forget gate)를 통해 토큰 단위의 동적 상태 업데이트를 구현하여 메모리를 순전파 네이티브 상태로 만듭니다 (해마체 메커니즘과 유사).
- 용량 확장 (MoS): Mixture-of-Storage 스토리지 전문가 혼합을 최초로 구현했으며, 조밀한 라우팅(dense routing)과 통일된 의미 주소 공간을 채택하여 낮은 비용으로 메모리 용량을 선형적으로 확장합니다.
- 궁극적 지표 (VRAM 및 지연 시간): 256K 히스토리 처리 시 VRAM이 5.06 GiB에서 40 MiB로 급감(120배 이상 감소); 첫 단어 지연 시간(TTFT)은 512부터 256K 범위에 걸쳐 안정적으로 104–112 ms를 유지하여 장문 대화의 끊김 현상을 완전히 해결했습니다.
적용 시나리오: 장기 에이전트 개발, 코드 어시스턴트, 다중 라운드 상호작용 시스템 및 지속적인 복리 성장이 필요한 기업 전용 지식 기반.