지식 없는 언어 모델: 증거 기반 언어 모델링을 위한 매개변수 회상 억제

요약

본 연구는 언어 모델이 내재된 지식에 과도하게 의존하는 문제를 해결하기 위해 Knowledge--''Less'' Language Models (KLLMs)를 제안합니다. KLLMs는 개체명 익명화 코퍼스에서 사전 학습되어, 사실적 지도 학습 경로를 제거함으로써 폐쇄형 회상을 줄이고 문맥 기반 추론 능력을 강화했습니다. 이 모델은 검색 증강 환경에서 높은 견고성과 신뢰성을 보여줍니다.

핵심 포인트

• KLLMs는 개체명 익명화 코퍼스에서 사전 학습되어 사실적 지도 학습을 억제합니다.
• 폐쇄형 책(closed-book) 회상을 줄이고 문맥 기반 질의응답 성능을 개선했습니다.
• 검색 기반 설정에서 표준 모델 대비 최대 20~25%의 상대적 이득과 견고성을 보입니다.
• 모델이 매개변수 지식보다 외부 증거에 더 의존하도록 인식론적 행동 변화를 유도합니다.