제한 메모리 언어 모델(Limited memory language models, LMLMs)은 사실적 지식을 가중치에 암기하는 대신 사전 학습 과정에서 지식 베이스(KB)로 외부화합니다. 생성 과정 중에는 모델이 필요할 때 KB에서 지식을 가져옵니다. 이 최근 도입된 패러다임은 기존 LLM을 넘어서는 지식 제어 능력을 포함하여 여러 장점을 제공합니다. 우리는 연속 질의 기반 LMLM (CO-LMLM)을 제안하며, 여기서 KB는 연속 키(continuous keys)와 텍스트 지식 값(textual knowledge values) 쌍을 이루는데, 이는 이전의 관계형 KB 및 질의에 의존하던 방식에서 크게 벗어납니다. CO-LMLM은 최소한의 비용으로 유연한 벡터 질의를 생성하면서도, 인간이 읽을 수 있고 출처가 명시된 검색 지식을 생성 과정에 통합합니다. 우리는 이 설계를 임의의 텍스트 내 자유 형식 사실 스팬(free-form factual spans)에 태그하는 주석 파이프라인과 결합하여, 이전 작업들이 위키피디아로 제한했던 제약을 제거했습니다. Wikipedia와 FineWeb-Edu를 이용한 사전 학습 및 여러 모델 규모에서 CO-LMLM은 퍼플렉서티(perplexity)와 사실적 정확성(factual precision) 모두에서 기존 LMLMs와 바닐라 LLM을 능가합니다. 360M 규모에서는, 이는 40배 더 많은 데이터로 사전 학습된 모델보다 낮은 퍼플렉서서티를 포함하며, SimpleQA 검증 성능은 gpt-4o-mini와 유사하고 Claude Sonnet 4.5보다 높은 수준입니다.