Softmax Attention 모델에서의 점근적 신호 부분 공간 회복 (Asymptotic Signal Subspace Recovery)

Attention 메커니즘은 대규모 토큰 집합에서 관련 정보를 식별하는 데 있어 놀라운 경험적 성공을 보여주었으나, 이러한 동작의 근저에 있는 이론적 원리는 여전히 제대로 이해되지 않고 있습니다. 본 연구에서는 정보성 토큰(informative tokens)과 방해 토큰(nuisance tokens)의 집합으로부터 쿼리 벡터(query vector)가 확률적 경사 상승법(stochastic gradient ascent)을 통해 학습되는 정형화된 softmax-attention 모델을 연구합니다. 모델의 대칭성을 활용하여, 우리는 모집단 목적 함수(population objective)를 도출하고 학습 역학(learning dynamics)을 지배하는 극한 상미분 방정식(limiting ordinary differential equation)을 규명합니다. 확률적 근사(stochastic approximation) 및 동역학계 이론(dynamical systems theory)의 도구들을 사용하여, 우리는 확률적 학습 알고리즘과 그 결정론적 극한(deterministic limit) 사이의 엄밀한 연결을 확립합니다. 우리의 주요 결과는 적절한 고차원 스케일링 가정(high-dimensional scaling assumptions)과 표준 단계 크기(step-size) 조건 하에서, 학습된 쿼리가 잠재적인 정보 방향(latent informative direction)에 의해 생성되는 1차원 신호 부분 공간(signal subspace)으로 거의 확실하게(almost surely) 수렴함을 보여줍니다. 동등하게, 쿼리는 고유한 부호 모호성(sign ambiguity)을 제외하고 잠재적 신호를 점근적으로 회복합니다. 이러한 결과는 고차원 노이즈 환경에서 신호 추출 절차로서의 attention 메커니즘을 이해하기 위한 엄밀한 이론적 토대를 제공하며, 상당한 노이즈가 존재하는 상황에서 attention이 어떻게 관련 정보를 발견하는지에 대한 동역학계 관점을 제시합니다.