LLM 시스템의 지속적 지식 업데이트: 다중 시간 척도 기억 역학을 통한 학습

요약

본 논문은 LLM이 끊임없이 변화하는 환경에 적응하기 위해, 생물학적 기억 시스템의 원리를 모방한 지속적인 지식 업데이트 메커니즘을 제안한다. 기존 외부 메모리 시스템들이 명시적으로 관리되는 것과 달리, 이 접근 방식은 다중 시간 척도 역학(multi-timescale dynamics)을 활용하여 새로운 연관성을 즉각 사용 가능하게 하고, 반복된 정보를 강화하며, 불필요한 정보는 선택적으로 망각하는 방식으로 작동한다. 이를 통해 외부 기억을 자체적인 재구성 학습 기질로 재정의할 수 있다.

핵심 포인트

• LLM은 배포 후에도 지속적인 지식 업데이트가 필요하다.
• 제안된 시스템은 생물학적 기억처럼 다중 시간 척도 역학을 활용하여 지식을 관리한다.
• 이 메커니즘은 새로운 연관성 즉시 사용, 반복 강화, 선택적 망각의 세 가지 기능을 통합적으로 수행한다.
• 외부 메모리는 'Memini'라는 형태로 방향성 그래프에 조직되며, 이는 Benna-Fusi 모델 기반의 결합된 내부 변수를 포함한다.