2요인 선형 Transformer 모델의 대규모 단계 학습 역학 (Large-Step Training Dynamics)

경사 흐름 (Gradient-flow) 분석에 따르면 단순화된 선형 Transformer (linear transformers)는 인컨텍스트 (in-context) 선형 회귀 알고리즘을 학습할 수 있지만, 큰 학습률 (learning rates)에서의 경사 하강법 (gradient descent)의 유한 단계 (finite-step) 동작을 설명하지는 못합니다. 높은 학습률을 가진 Transformer의 불안정성에 관한 경험적 연구와 이차 회귀 (quadratic regression)에 대한 3차 맵 (cubic-map) 위상도 (phase diagram)에 착안하여, 본 연구에서는 정확하게 환원 가능한 단일 프롬프트 선형 Transformer 학습 문제를 연구합니다. 정규화 (normalization)를 거친 후, 역학은 유효 단계 크기 파라미터인 (μ)를 갖는 2요인 곱 맵 (two-factor product map)으로 환원됩니다. 균형 잡힌 슬라이스 (balanced slice)에서 이 맵은 단조 수렴 (monotone convergence)에서 카타펄트 수렴 (catapult convergence), 주기적 및 혼돈적 유계 비수렴 (periodic and chaotic bounded nonconvergence), 그리고 발산 (divergence)으로 이어지는 알려진 스칼라 3차 전이를 재현합니다. 이어서 전체 2차원 시스템을 분석하여, (0<μ<2)인 경우 순방향 불변 영역 (forward-invariant regions)을 분리하는 명시적인 불변 체비쇼프 타원 (invariant Chebyshev ellipse)이 존재함을 보여줍니다. 이 타원은 불균형한 혼돈 역학 (off-balanced chaotic dynamics)을 운반하지만 횡방향으로 밀어내는 성질 (transversely repelling)을 가지는 반면, 균형 잡힌 스칼라 끌개 (balanced scalar attractors)는 횡방향으로 끌어당기는 성질 (transversely attracting)을 가질 수 있습니다. 이러한 결과는 큰 상수 학습률이 단순히 수렴을 가속화하는 것이 아니라, 학습된 Transformer의 학습 끌개 (training attractor)를 변화시킬 수 있음을 보여줍니다. 즉, 급격한 안정성 임계값 (stability thresholds)을 넘어서면 유한 단계 학습은 단일 인컨텍스트 선형 회귀 솔루션 대신 사이클, 유계 혼돈 (bounded chaos), 또는 발산 상태로 안착할 수 있습니다. 또한 우리는 미니 배치 경사 하강법 (mini-batch gradient descent) 기반 학습 방법에 미치는 영향에 대해서도 논의합니다.