Percepta의 새로운 아키텍처 Spotlight: 지능과 기억 분리, 모델 가중치 변경 없이 지식 및 스킬 성장 가능

https://www.percepta.ai/blog/spotlight-memory
"우리의 새로운 아키텍처인 Spotlight는 어텐션(attention)을 메모리로 대체하여 이러한 트레이드오프를 해결합니다. 이는 접근 비용을 증가시키지 않으면서 무한히 성장하는 메모리를 달성한 최초의 아키텍처입니다. 모든 토큰은 무제한 메모리에서 읽고 쓰지만, 모델이 개별 메모리 셀을 인덱싱하도록 학습하기 때문에 각 토큰은 한 번에 소수의 셀만 건드립니다. 다른 희소(sparse) 아키텍처들이 매 단계마다 사용되는 용량의 비율을 고정하는 반면 (예를 들어, mixture-of-experts 모델은 항상 고정된 전문가 집합 중 동일한 수의 전문가를 활성화합니다), Spotlight는 임의로 희소하여 메모리가 성장하더라도 동일한 수의 셀만 건드립니다. 이 아키텍처가 사용하는 메모리 비율은 원하는 만큼 줄어들 수 있습니다.
Spotlight는 계산을 수행하는 지능 모듈(intelligence module)과 지식, 절차, 작업 상태를 저장하는 메모리를 분리합니다. 지능 모듈의 크기는 동일하게 유지되며, 메모리가 성장해도 가중치(weights)는 변경되지 않습니다. 이 메모리는 쓰기가 가능하며, 모델 자체가 토큰 단위로 무엇을 로드하고 언제 덮어쓸지 결정합니다. 메모리가 사실뿐만 아니라 스킬도 담을 수 있기 때문에, 모델은 재훈련 없이 새로운 역량을 얻을 수 있습니다. 즉, 모델이 할 수 있는 것은 지능 모듈의 크기에 의해 제한되지 않습니다."