ASRN: 학습된 고유 시간 시계를 이용한 선형 메모리 장거리 복사

요약

ASRN(Adaptive Sparse Recurrence Network)은 언어 모델의 장거리 메모리 복구를 위한 새로운 레이어입니다. 이 네트워크는 희소 해시 버킷 내에서 최근 동료에게만 주의를 기울여 정확한 이전 사례를 효율적으로 복구합니다. 또한, 학습된 고유 시간 시계를 도입하여 반복되는 패턴에 대한 망각을 제어하고 복사 여부를 결정하는 게이트 메커니즘을 사용합니다.

핵심 포인트

• ASRN은 장거리 메모리 복사를 위한 효율적인 LLM 레이어입니다.
• 희소 해시 버킷과 제한된 작업량으로 계산 효율성을 높였습니다.
• 학습된 고유 시간 시계가 검색 점수와 망각 메커니즘을 제어합니다.
• 게이트는 반복 흐름 및 강도 변화를 읽어 복사 여부를 결정합니다.