만약 LLM이 적은 저장 공간으로 유용한 기록을 전송할 수 있다면? MemT 1.0이 영구적이고 업데이트 가능한 메모리를 모델 자체 연산에

요약

MemT 1.0은 Mixture-of-Storage를 활용하여 LLM의 메모리 용량을 확장하고 영구적이고 업데이트 가능한 메모리를 모델 연산에 도입합니다. 이를 통해 전체 컨텍스트 대비 추론 속도를 높이고, 장기 상호작용 기록을 위한 저장 공간 사용량을 대폭 줄여 효율성을 개선했습니다.

핵심 포인트

• Mixture-of-Storage를 통해 LLM의 메모리 용량 확장 가능
• 전체 컨텍스트 대비 추론 속도가 약 1.86배 빠름
• 영구 저장 공간 사용량을 최대 66배까지 절감함
• 장기간 상호작용 기록 애플리케이션에 매우 유용함