LLM 시스템의 지속적 지식 업데이트: 다중 시간 척도 기억 역학을 통한 학습
요약
본 논문은 LLM이 끊임없이 변화하는 환경에 적응하기 위해, 생물학적 기억 시스템의 원리를 모방한 지속적인 지식 업데이트 메커니즘을 제안한다. 기존 외부 메모리 시스템들이 명시적으로 관리되는 것과 달리, 이 접근 방식은 다중 시간 척도 역학(multi-timescale dynamics)을 활용하여 새로운 연관성을 즉각 사용 가능하게 하고, 반복된 정보를 강화하며, 불필요한 정보는 선택적으로 망각하는 방식으로 작동한다. 이를 통해 외부 기억을 자체적인 재구성 학습 기질로 재정의할 수 있다.
핵심 포인트
- LLM은 배포 후에도 지속적인 지식 업데이트가 필요하다.
- 제안된 시스템은 생물학적 기억처럼 다중 시간 척도 역학을 활용하여 지식을 관리한다.
- 이 메커니즘은 새로운 연관성 즉시 사용, 반복 강화, 선택적 망각의 세 가지 기능을 통합적으로 수행한다.
- 외부 메모리는 'Memini'라는 형태로 방향성 그래프에 조직되며, 이는 Benna-Fusi 모델 기반의 결합된 내부 변수를 포함한다.
LLM 은 한번 훈련된 후, 끊임없이 변하는 세상으로 배포됩니다. 외부 기억이 이를 보완하지만, 대부분의 시스템은 명시적으로 관리하며 스스로 적응하게 하지 않습니다. 생물학적 기억은 다르게 작동합니다: 결합된 다중 시간 척도 역학이 새로운 연관성을 즉시 사용 가능하게 하고, 반복을 확인한 것을 강화하며, 나머지는 잊게 합니다. 우리는 외부 기억이 유사한 원칙을 따르야 한다고 주장합니다. Memini 에서 이 관점은 지식을 방향성 그래프로 조직하는 연상 기억의 형태로 나타납니다. 각 엣지 (edge) 는 Benna-Fusi 모델의 시냅스 고정 이론에 따라 하나의 빠른 변수와 하나의 느린 변수를 포함하는 두 개의 결합된 내부 변수를 갖습니다. 이러한 결합에서, 에피소드 민감도 (episodic sensitivity), 점진적 고정 (gradual consolidation), 선택적 망각이 단일 메커니즘의 측면으로 나타납니다. 이를 통해 외부 기억을 자체 역학을 통해 재구성되는 학습 기질로 재정의합니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.AI의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기