무한 너비 (Infinite Width) 가 얼마나 오래 지속되는가? 긴 거리 선형 반복의 신호 전파

우리는 유한 너비 (finite width) 의 선형 반복 모델에서 신호 전파를 연구합니다. 기존 신호 전파 이론은 주로 무한 너비 (infinite-width) 한계 (limit) 를 기반으로 하지만, 반복 깊이 $t$ 와 너비 $n$ 이 함께 커질 때 그 근사가 얼마나 정확한지 여부는 여전히 명확하지 않습니다. 이 질문은 현대적인 반복 시퀀스 모델에 특히 중요합니다. 이러한 모델의 자연스러운 작동 영역은 긴 입력 시퀀스를 포함하며, 즉 큰 $t$ 를 의미합니다.

우리는 복잡한 가우시안 초기화 (complex Gaussian initialization) 하에서 선형 반복에서 숨겨진 상태 신호 에너지를 위한 정확한 유한 너비 공식을 유도합니다. 이러한 공식들을 사용하여 신호 전파를 지배하는 깊이-너비 스케일링 regimes 를 식별합니다: (i) 무한 너비 근사가 유효한 부차적 (subcritical) regime $t=o(\sqrt n)$; (ii) 비무미각 (non-negligible) 편차가 나타나고 비자명적인 (nontrivial) 공동 스케일링 한계 (joint scaling limit) 가 나타나는 임계적 (critical) regime $t\sim c\sqrt n$; 그리고 (iii) 유한 너비 효과가 지배적인 초임계적 (supercritical) regime $t\gg \sqrt n$. 따라서, 우리의 결과는 긴 거리 선형 반복에서 무한 너비 이론이 붕괴되는 정확한 반복 깊이 스케일을 지적합니다. 반대로, 이는 Glorot 와 같은 표준 초기화 스키마가 불안정해지는 시기를 보여줍니다.

더 넓게는, 우리의 결과는 유한 너비 효과가 피드포워드 (feedforward) 모델보다 반복 모델에서 깊이에 따라 더 빠르게 누적됨을 보여주며, 이는 질적으로 다른 신호 전파 행동을 초래합니다.