Phasor Memory Networks: 확장 가능한 명시적 메모리를 위한 안정적인 BPTT (Backpropagation Through

요약

본 연구는 명시적 메모리 아키텍처의 오랜 난제였던 BPTT 과정 중 발생하는 그래디언트 불안정성 문제를 해결하기 위해 Phasor Memory Network (PMNet)을 제안합니다. PMNet은 복소 단위 원 상의 위상 회전을 통해 순환 상태 업데이트를 제한함으로써, 특수한 초기화 없이도 그래디언트 노름을 보존하고 발산을 본질적으로 방지합니다. 이 모델은 확장된 계층적 메모리 트리를 활용하여 장거리 의존성 검색에서 높은 정확도를 달성하며, 소형 크기에도 불구하고 대규모 모델과 동등한 롱 컨텍스트 강건성을 입증했습니다.

핵심 포인트

• PMNet은 Unitary Phasor Dynamics와 Hierarchical Learnable Anchors를 결합하여 메모리 휘발성 문제를 구조적으로 해결합니다.
• 순환 상태 업데이트를 복소 단위 원 상의 위상 회전으로 제한함으로써 그래디언트 발산을 본질적으로 방지합니다.
• 확장된 85-slot 계층적 메모리 트리를 활용하여 장거리 시간적 의존성에서도 높은 검색 정확도를 유지합니다.
• 119M 파라미터 모델임에도 불구하고, 3배 더 큰 Mamba 모델과 대등한 제로샷 롱 컨텍스트 강건성을 보여줍니다.