Co-LMLM: 연속 질의 기반 제한 메모리 언어 모델

요약

본 논문은 제한 메모리 언어 모델(LMLMs)의 한계를 극복하기 위해 연속 질의 기반 LMLM (CO-LMLM)을 제안합니다. CO-LMLM은 외부 지식 베이스를 활용하여, 인간이 읽고 출처가 명시된 검색 지식을 생성 과정에 통합하는 것이 특징입니다. 이 모델은 기존 방식보다 높은 사실적 정확성과 낮은 퍼플렉서티를 보여주며, GPT-4o-mini와 유사하거나 능가하는 성능을 입증했습니다.

핵심 포인트

• CO-LMLM은 연속 키/값 쌍으로 지식 베이스를 외부화합니다.
• 인간이 읽고 출처가 명시된 검색 지식을 생성 과정에 통합합니다.
• Wikipedia 및 FineWeb-Edu로 사전 학습되어 높은 사실적 정확성을 보입니다.
• GPT-4o-mini와 유사하거나 Claude Sonnet 4.5보다 우수한 성능을 달성했습니다.