Voltic: 순환 메모리에서 변동성(Volatility)과 확률적 노이즈(Stochasticity) 구분하기

순환 시퀀스 모델은 각 토큰마다 자신의 메모리를 얼마나 강하게 덮어쓸지 결정해야 합니다. 베이즈 필터링으로 읽을 수 있는 이 쓰기 값(write gain)은 두 가지 상반된 방향에서 오는 불확실성, 즉 근본적인 연관성이 얼마나 빠르게 변하는지를 나타내는 변동성(volatility)과 각 관측치가 얼마나 노이즈가 많은지를 나타내는 확률적 노이즈(stochasticity)에 의해 설정됩니다. 먼저, 우리는 게이티드 델타-룰 메모리의 업데이트가 등방성 불확실성 하에서 이 필터의 형태를 취한다는 것을 보여줍니다. 다음으로, 우리는 Voltic이라는 순환 메모리를 소개합니다. 이는 공분산(covariance)을 비등방성(anisotropic)으로 유지하고 두 노이즈 분산을 입력 의존적으로 만들어 쓰기 값이 벡터 값(vector-valued)을 가지며 시퀀스에 걸쳐 축적된 불확실성을 담게 합니다. 밀집 공분산은 토큰별로 전파되어야 하므로, 이 모델들이 의존하는 병렬 학습(parallel training)을 불가능하게 만듭니다. 따라서 우리는 두 가지 가정된 밀도 근사치인 대각선(diagonal) 및 준대각선(quasi-diagonal) 근사치를 제시하며, 둘 다 메모리 업데이트를 델타-룰 형태에 남겨두고 그 청크 커널(chunked kernels)을 재사용합니다. 연관성이 변하고 관측치가 손상되는 제어된 회상 작업(controlled recall tasks)에서 Voltic은 모든 기준 모델보다 우수합니다. 변동성과 확률적 노이즈를 결합한 작업에서는, 가장 강력한 기준 모델 대비 그 성능 격차가 훈련 크기일 때보다 외삽(extrapolation) 크기일 때 더 크게 나타납니다. 45M 파라미터 언어 모델에서 이는 여덟 가지 태스크 추론 평균을 주도하며, 게이티드 기준 모델들보다 높은 검색 정확도를 훈련 컨텍스트 길이 이상에서도 달성하고, 그 처리량(throughput)은 기준 모델들과 유사합니다. 따라서 불확실성 재귀로부터 쓰기 값을 도출하는 것은 메모리를 변화에 더 민감하게 만듭니다.