LLM의 지식 저장 방식 혁신: Knowledge Capsules 소개

요약

대규모 언어 모델(LLMs)은 지식을 파라미터 가중치에 인코딩하여 업데이트나 확장이 어렵습니다. 기존의 검색 증강 생성 (RAG) 방식은 외부 지식을 컨텍스트로 추가하지만, 이는 어텐션 메커니즘 내에서 토큰 경쟁을 유발하며 영향력이 간접적이고 불안정합니다. 본 논문에서는 Knowledge Capsules라는 구조화된 비모수 메모리 유닛을 제안합니다. 이 캡슐들은 정규화된 관계 지식을 나타내며, 외부 키 값 주입 (External Key Value Injection, KVI) 프레임워크를 통해 모델의 어텐션 계산에 직접 참여하도록 만

핵심 포인트

• Knowledge Capsules는 구조화된 비모수 메모리 유닛으로, 정규화된 관계 지식을 저장합니다.
• 기존 RAG 방식과 달리, Knowledge Capsules는 외부 키 값 주입 (KVI)을 통해 모델의 어텐션 계산에 직접 참여시킵니다.
• 이 프레임워크는 파라미터 업데이트 없이도 장문맥 및 다단계 추론에서 높은 안정성과 정확도를 보여줍니다.