대규모 언어 모델 (LLMs)은 광범위한 작업에서 강력한 성능을 달성하지만, 사전 학습 (pretraining) 이후 후속 업데이트가 있을 때까지 동결된 상태로 유지됩니다. 많은 실제 애플리케이션은 적시에 제공되는 도메인 특화 정보를 필요로 하며, 이는 새로운 지식을 통합하기 위한 효율적인 메커니즘의 필요성을 불러일으킵니다. 본 논문에서는 LLM 파라미터를 변경하지 않으면서 새로운 지식을 전용 메모리 모델 (memory model)에 인코딩하는 모듈형 프레임워크인 MeMo (Memory as a Model)를 소개합니다. 기존 방법들과 비교하여 MeMo는 다음과 같은 몇 가지 장점을 제공합니다: (a) 복잡한 문서 간 관계를 포착하며, (b) 검색 노이즈 (retrieval noise)에 강건하고, (c) LLM의 치명적 망각 (catastrophic forgetting)을 방지하며, (d) LLM의 가중치 (weights)나 출력 로짓 (output logits)에 대한 접근이 필요하지 않아 오픈 소스 및 폐쇄형 proprietary closed-source LLM 모두와 플러그 앤 플레이 (plug-and-play) 통합이 가능하며, (e) 추론 시 검색 비용이 코퍼스 (corpus) 크기에 독립적입니다. BrowseComp-Plus, NarrativeQA, MuSiQue의 세 가지 벤치마크에 대한 실험 결과는 MeMo가 다양한 설정에서 기존 방법들과 비교하여 강력한 성능을 달성함을 보여줍니다.