MeMo: 모델로서의 메모리

요약

MeMo (Memory as a Model)는 대규모 언어 모델(LLMs)의 파라미터를 변경하지 않으면서 새로운 도메인 지식을 전용 메모리 모델에 인코딩하는 모듈형 프레임워크입니다. 이 시스템은 복잡한 문서 간 관계 포착, 검색 노이즈에 대한 강건성, 그리고 LLM의 치명적 망각 방지 등의 장점을 제공합니다. MeMo는 가중치나 출력 로짓 접근 없이 플러그 앤 플레이 통합이 가능하여 오픈 소스 및 폐쇄형 모델 모두에 적용할 수 있으며, 다양한 벤치마크에서 강력한 성능을 입증했습니다.

핵심 포인트

• MeMo는 LLM의 파라미터 수정 없이 새로운 지식을 메모리 모델에 효율적으로 인코딩합니다.
• 이 프레임워크는 복잡한 문서 관계 포착 및 검색 노이즈에 대한 강건성을 제공합니다.
• LLM의 치명적 망각(catastrophic forgetting)을 방지하는 것이 주요 목표 중 하나입니다.
• 가중치나 출력 로짓 접근 없이 플러그 앤 플레이 통합이 가능하여 범용성이 높습니다.
• 추론 시 검색 비용이 코퍼스 크기에 독립적이어서 효율적입니다.