Phasor Memory Networks: 확장 가능한 명시적 메모리를 위한 안정적인 BPTT (Backpropagation Through

지난 10년 이상, Neural Turing Machine과 같은 명시적 메모리 (explicit memory) 아키텍처는 이론적으로는 매력적이었으나, BPTT (Backpropagation Through Time) 과정 중 발생하는 치명적인 그래디언트 불안정성 (gradient instability)으로 인해 언어 모델링 (language modeling) 측면에서 실질적으로 다루기 어려웠습니다. 본 연구에서는 extit{Unitary Phasor Dynamics}와 extit{Hierarchical Learnable Anchors}를 통해 메모리 휘발성 (memory volatility) 문제를 구조적으로 해결하는 새로운 아키텍처인 extit{Phasor Memory Network} (PMNet)를 제안하여 이러한 교착 상태를 타파합니다. 우리는 무차별적인 스케일링 (brute-force scaling)에 의존하는 대신, 통제된 바이트 수준 (byte-level) 환경에서 메커니즘적 개념 증명 (proof-of-concept)을 제시합니다. 순환 상태 (recurrent state) 업데이트를 복소 단위 원 (complex unit circle) 상의 위상 회전 (phase rotations)으로 제한함으로써, PMNet은 특수한 초기화 없이도 그래디언트 노름 (gradient norms)을 보존하고 발산 (divergence)을 본질적으로 방지합니다. 우리는 합성 Copy-Paste 태스크를 통해 메모리 모듈의 능동적인 작동을 실증적으로 보여줍니다. 여기서 PMNet은 확장된 extit{85-slot 계층적 메모리 트리} ($=\sum^{4}_{h=1}4^{h-1}$)를 활용하여, 로컬 슬라이딩 윈도우 어텐션 (local sliding window attention)의 수용 영역 (receptive field)을 완전히 벗어나는 시간적 거리에서도 100%에 가까운 정확한 검색 (retrieval)을 달성합니다. 또한, 18.8B 토큰으로 학습된 119M 파라미터의 소형 모델임에도 불구하고, PMNet은 3배 더 큰 Mamba 모델의 제로샷 (zero-shot) 롱 컨텍스트 강건성 (long-context robustness)과 대등한 성능을 보여줍니다. 우리의 어블레이션 연구 (ablation studies) 및 그래디언트 분석 (gradient analyses)은 명시적 메모리의 과거 실패가 구조적 정렬 (structural alignment) 문제였음을 확인시켜 주며, PMNet은 이를 효과적으로 극복하여 확장 가능한 시퀀스 모델링 (sequence modeling)을 위한 이론적 근거가 되는 토대를 제공합니다.