순환 신경망 (RNN)의 연속 함수 근사

고전적인 근사 정리 (approximation theorems)들은 목표 정확도가 향상될 때마다 새로운 신경망을 요구합니다. 본 논문은 그 반대의 가능성, 즉 네트워크를 단 한 번만 선택하고, 네트워크를 더 오래 실행함으로써만 정확도를 얻을 수 있는지에 대해 연구합니다. 우리는 [-1,1] 상의 모든 연속 함수에 대해 이것이 가능하다는 것을 증명합니다. 더 정확하게는, 각 연속 함수는 고정된 가중치와 고정된 은닉 차원 (hidden dimension)을 가진 단일 ReLU 순환 신경망 (RNN)의 시간 진화 (time evolution)에 의해 균등 근사 (uniformly approximated)됩니다. 이 구성의 배후에 있는 메커니즘은 신경 유닛을 가진 튜링 머신 (Turing machine with neural units, TMNU)이라는 새로운 중간 모델입니다. 이 모델은 다항식 근사 방식 (polynomial approximation schemes)을 구현하는 데 필요한 알고리즘적 자유도를 유지하면서도, 은닉 차원과 가중치 크기에 대한 명시적인 경계가 있는 RNN에 의해 시뮬레이션될 수 있을 만큼 충분히 경직되어 있습니다. 결과적인 수렴 속도 (convergence rates)는 기저에 깔린 다항식 근사 속도를 반영합니다. 우리는 실행 시간 (runtime)이 단순히 증명 과정의 산물이 아니라, 이러한 고정 네트워크 근사 패러다임에서 피할 수 없는 자원임을 보여주는 미니맥스 하한 (minimax lower bounds)을 통해 이 구성을 보완합니다.