언어 모델은 그 매개변수 내에 상당한 사실적 지식을 인코딩하며, 이 지식이 오래되었거나, 불완전하거나, 제공된 문맥과 일치하지 않을 경우 신뢰할 수 없는 행동을 초래할 수 있습니다. 본 연구에서는 사전 학습 시그널(pretraining signal)을 수정하는 것이 모델을 매개변수 회상(parametric recall)에서 증거 기반 추론(evidence-grounded reasoning)으로 체계적으로 이동시킬 수 있는지 연구합니다. 우리는 Knowledge--''Less'' Language Models (KLLMs)를 소개하는데, 이는 LLM의 근본적으로 다른 인식론적 훈련 패러다임입니다. KLLMs는 개체명(named entities)이 익명화된 코퍼스에서 사전 학습되어, 개체와 연결된 사실적 지도 학습의 주요 경로를 제거합니다. 이러한 개입은 폐쇄형 책(closed-book) 사실 회상을 상당히 줄이는 동시에, 관련 정보가 문맥으로 제공되는 작업에서는 성능을 개선하는 경우가 많습니다. 여러 모델 규모에 걸쳐 KLLMs는 문맥 기반 질의응답(contextual question answering), 사실 검증(fact verification), 그리고 환각 탐지(hallucination detection) 벤치마크에서 매칭된 기준선(matched baselines)보다 일관되게 우수한 성능을 보입니다. 결정적으로, 불완전한 증거를 가진 검색 기반 설정(retrieval-grounded settings)에서 KLLMs는 향상된 견고성(robustness)을 보여주며 표준 언어 모델 대비 최대 20~25%의 상대적 이득을 달성합니다. 또한 ECE, Brier score, AUROC가 개선되는 등 더 나은 보정(calibration)과 더욱 신뢰할 수 있는 기권 행동(abstention behavior)을 나타냅니다. 우리의 결과는 개체와 연결된 지도 학습을 사전 학습 중에 억제하는 것이 인식론적 행동의 변화를 유도함을 보여줍니다: KLLMs는 매개변수 지식에 덜 의존하고 외부 증거에 더 많이 의존하여, 현실적인 조건에서 향상된 신뢰성을 가져옵니다. 이는 지식 습득에 대한 사전 학습 시점의 제어가 보다 증거에 민감한 기반 모델을 제공함으로써 검색 증강(retrieval-augmented) 및 도구 기반 시스템을 보완할 수 있음을 시사합니다.