LLM의 지식 저장 방식 혁신: Knowledge Capsules 소개

대규모 언어 모델(LLMs)은 지식을 가중치라는 매개변수(parameteric weights)에 저장하는 경향이 있어, 지식 업데이트나 확장이 어려워지는 한계가 있습니다. 기존의 검색 증강 생성 (Retrieval-Augmented Generation, RAG) 방식은 외부 문서를 컨텍스트로 추가하여 이 문제를 완화합니다. 하지만 이는 단순히 토큰을 늘리는 '컨텍스트 확장'에 불과하며, 외부 지식이 어텐션 메커니즘 내에서 다른 토큰들과 경쟁하는 방식으로만 영향을 미칩니다. 그 결과, 특히 긴 문맥이나 여러 단계를 거치는 추론(multi-hop reasoning) 시 영향력이 불안정해지는 문제가 발생합니다.

저희는 이러한 한계를 극복하기 위해 Knowledge Capsules라는 구조화된 비모수 메모리 유닛을 제안합니다. 이 캡슐들은 정규화된 관계 지식을 담고 있으며, 별도의 파라미터 업데이트 없이도 문서 코퍼스에서 직접 구축할 수 있습니다.

핵심은 지식 주입 방식을 바꾸는 것입니다. 기존처럼 텍스트를 컨텍스트에 '주입'하는 대신, 외부 키 값 주입 (External Key Value Injection, KVI) 프레임워크를 사용합니다. 이 프레임워크는 캡슐들을 어텐션 계산에 바로 사용할 수 있는 키-값(Key-Value) 표현으로 변환하여, 외부 지식이 모델의 핵심 어텐션 연산에 직접 참여하도록 만듭니다.

이러한 접근 방식은 지식 통합을 '컨텍스트 수준 증강'에서 '메모리 수준 상호작용'으로 전환합니다. 그 결과, 제안된 프레임워크는 파라미터 업데이트가 전혀 없음에도 불구하고, 여러 QA 벤치마크에서 RAG나 GraphRAG보다 일관되게 뛰어난 성능과 안정성을 입증했습니다.