초저전력 애플리케이션을 위해 설계된 병렬화 가능한 RNN의 성능 및 학습 안정성 향상

시퀀스 학습 (Sequence learning)은 Transformer와 상태 공간 모델 (State-space models)과 같은 병렬화 가능한 순환 신경망 (RNNs)이 주도하고 있지만, 장기 의존성 (Long-term dependencies)을 학습하는 것은 여전히 어려운 과제로 남아 있으며, 최첨단 설계들은 성능을 위해 전력 소비를 희생하고 있습니다. 초저전력 RNN의 하드웨어-소프트웨어 공동 설계 (Hardware-software co-design)를 가능하게 하기 위해 Bistable Memory Recurrent Unit (BMRU)가 도입되었습니다. 히스테리시스 (Hysteresis)를 가진 양자화된 상태 (Quantized states)는 아날로그 기본 요소 (Analog primitives)로 직접 매핑되면서도 지속적인 메모리를 제공합니다. 그러나 BMRU의 성능은 복잡한 시퀀스 작업에서 병렬화 가능한 RNN에 비해 뒤처집니다. 본 논문에서는 상태 업데이트 과정 중 발생하는 그래디언트 차단 (Gradient blocking)을 주요 한계점으로 식별하고, 지속적인 메모리를 보존하면서 그래디언트 흐름 (Gradient flow)을 복구하여 시간적 스킵 연결 (Skip-connections through time)을 생성하는 누적 업데이트 (Cumulative update) 공식을 제안합니다. 이는 Cumulative Memory Recurrent Unit (CMRU)과 그 완화된 변형인 $\alpha$CMRU로 이어집니다. 실험 결과, 누적 공식은 수렴 안정성 (Convergence stability)을 극적으로 향상시키고 초기화 민감도 (Initialization sensitivity)를 줄이는 것으로 나타났습니다. CMRU와 $\alpha$CMRU는 작은 모델 크기에서 다양한 벤치마크에 걸쳐 Linear Recurrent Units (LRUs) 및 최소 게이트 순환 유닛 (minGRUs)과 대등하거나 이를 능가하는 성능을 보였으며, 특히 이산적인 장거리 유지 (Discrete long-range retention)가 필요한 작업에서 강점을 보였습니다. 동시에 CMRU는 아날로그 구현에 필수적인 양자화된 상태, 지속적 메모리 및 노이즈 내성 역학 (Noise-resilient dynamics)을 유지합니다.