엔트로피 정규화된 복제자 방정식에 따른 별아교 게이트 연상 기억 동역학에서 나타나는 자기 주의

요약

본 논문은 엔트로피 정규화된 복제자 방정식에 따라 진화하며 별아교 이득으로 곱셈적으로 조절되는 홉필드형 연상 기억 모델을 제안합니다. 이 뉴런-별아교 동역학 시스템은 리야푸노프 함수를 통해 전역 수렴이 보장되며, 고정점에서 소프트맥스 정규화를 사용하여 자기 주의(self-attention) 메커니즘을 기계적으로 구현합니다. 이 모델은 높은 기억 부하와 간섭 환경에서 기존의 홉필드 동역학 및 뉴런-별아교 기준선보다 검색 정확도가 우수함을 보여주며, 신경교 조절과 주의 계산을 통합하는 새로운 프레임워크를 제시합니다.

핵심 포인트

• 엔트로피 정규화된 복제자 방정식을 사용하여 별아교 이득이 진화하는 홉필드 연상 기억 모델을 구축했습니다.
• 뉴런-별아교 동역학은 리야푸노프 함수를 가지며, 이는 시스템의 전역 수렴성을 보장합니다.
• 소프트맥스 정규화를 통해 자기 주의 메커니즘을 기계적으로 구현하여 패턴 유사도 점수에 따라 별아교 이득이 할당됩니다.
• 본 모델은 높은 기억 부하와 간섭 환경에서 기존 방법론 대비 검색 정확도를 현저히 향상시킵니다.
• 신경교 조절, 경쟁 자원 할당 및 주의 계산을 통합하는 동적 시스템 프레임워크를 제공합니다.