대규모 언어 모델이 과거 상호작용의 정보를 기억하고 다음 작업에 재사용할 수 있을까? MemT-1.0 소개: 메모리 네이티브 진화로 나아가다

요약

LLM의 한계였던 과거 상호작용 정보 기억 문제를 해결하기 위해 MemT-1.0을 소개합니다. 이 모델은 메모리를 아키텍처 자체에 내장하여, 온라인 추론 과정에서 영구적인 메모리 상태를 진화시킵니다. 이를 통해 모델이 지속적으로 정보를 학습하고 다음 작업에 활용할 수 있게 합니다.

핵심 포인트

• 메모리를 모델 아키텍처 자체에 직접 구축했습니다.
• 온라인 추론 중 영구 메모리 상태가 진화하며 정보를 운반합니다.
• Mixture-of-Storage를 사용하여 쓰기/읽기를 전문가(experts)로 확장합니다.
• 오픈 소스로 Flash (288B)와 Nano (36B) 버전이 공개되었습니다.