순환 언어 모델 (Recurrent Language Models)의 표현력에 대한 대수적 관점

순환 신경망 언어 모델 (Recurrent Neural Language Model)은 어떤 형식 언어 (Formal Languages)를 인식할 수 있을까요? 기존 문헌의 공식적인 결과들은 서로 상충합니다. 어떤 저자들은 튜링 완전성 (Turing-completeness)을 보고하는 반면, 다른 저자들은 정규 언어 (Regular Languages)와의 동등성을 보여줍니다. 이러한 불일치의 이유는 근저에 있는 산술 모델 (Arithmetic Model)이 다르기 때문입니다. 본 논문은 다양한 산술 모델에 대한 공식적인 설명을 시작으로, 순환 신경망 (Recurrent Neural Networks)의 표현력 (Expressivity)에 대한 통합된 대수적 설명 (Algebraic Account)을 전개합니다. 이 설명은 표현력을 대수적 문제로 환원합니다. 예를 들어, 네트워크의 구문 모노이드 (Syntactic Monoid)가 특정 wreath product (Wreath Product)를 나누는지 여부와 같은 문제입니다. 사례 연구로서, 본 논문은 대각 상태 공간 모델 (Diagonal State-Space Models)을 재검토합니다. 동일한 아키텍처라도 부동 소수점 재귀 (Floating-point Recurrences)가 강제되면 짝수 모듈러스 카운터 (Even-modulus Counter)를 구현할 수 없지만, 부호 없는 정수 양자화 (Unsigned-integer Quantization) 하에서는 모든 짝수 모듈러스 카운터를 실현할 수 있습니다.