긴 문맥 모델링을 위한 지식 그래프 강화 메모리 증강 검색

긴 문맥 언어 모델링 (Long-context language modeling)은 문맥 창 (context windows)을 확장하는 것뿐만 아니라, 수천 개의 토큰에 걸쳐 엔티티 상태와 관계에 대한 일관된 이해를 유지하는 것을 요구합니다. 이는 의미적 유사성 (semantic similarity)만으로는 해결할 수 없는 과제입니다. KGERMAR은 추론 과정에서 입력 텍스트로부터 동적이고 문맥 특화적인 지식 그래프 (knowledge graphs)를 구축함으로써 이 문제를 해결하며, 의미적 유사성과 명시적인 엔티티 관계를 모두 활용하는 도메인 적응형 검색 (domain-adaptive retrieval)을 가능하게 합니다. 이 프레임워크는 실시간 엔티티 및 관계 추출을 수행하여 문맥적 지식 그래프를 구축한 다음, 다중 구성 요소 메모리 아키텍처 (multi-component memory architecture)를 통해 그래프 구조 임베딩 (graph-structural embeddings)을 텍스트 의미론 (textual semantics)과 통합합니다. 문맥적 (contextual), 의미적 (semantic), 구조적 (structural) 세 가지 메모리 뱅크 (memory banks)가 유지되며, 학습된 가중치를 통해 융합된 검색 신호를 사용하여 표면적 의미론과 더 깊은 관계 패턴을 모두 포착합니다. SlimPajama (84.7K 학습 예시), WikiText-103 (4,358개 예시), PG-19 (100개 예시), 그리고 Proof-pile (46.3K개 예시)에서 평가한 결과, KGERMAR은 1K에서 32K 토큰 사이의 문맥 길이에서 메모리 증강 베이스라인 (memory-augmented baselines)보다 최대 8.5% 낮은 퍼플렉시티 (perplexity)와 2~2.5배 더 나은 메모리 효율성을 달성하였으며, 5가지 NLU 작업에서 우수한 인컨텍스트 학습 (in-context learning) 성능을 보여주었습니다. 이러한 동적 지식 그래프 구축 방식은 고정된 지식 베이스 (knowledge bases)에 의존하는 대신 입력 문맥에 적응하는 도메인 특화 지식 표현을 가능하게 함으로써 메모리 증강 언어 모델링을 발전시킵니다.