저온 영역에서 평균장 트랜스포머의 농축 현상 정량화

요약

본 논문은 트랜스포머 모델의 토큰 진화를 평균장 연속 방정식으로 분석하고, 추론 시간 동안 토큰 분포가 특정 극한 분포에 빠르게 농축됨을 수학적으로 증명했습니다. 다중 입자 시스템의 수렴 분석 기법을 활용하여, 토큰 분포가 키(key), 쿼리(query), 값(value) 행렬에 의해 유도되는 투영 사상 하에서 초기 분포의 푸시-포워드 위에 농축되며 준안정 상태를 유지함을 보였습니다. 또한, 온도 매개변수와 추론 시간에 따른 두 분포 간의 Wasserstein 거리를 정량적으로 분석하여 이론적 결과를 제시했습니다.

핵심 포인트

• 트랜스포머 모델의 토큰 진화 과정을 평균장 연속 방정식으로 수학적으로 모델링함.
• 토큰 분포가 키(K), 쿼리(Q), 값(V) 행렬에 의해 유도되는 투영 사상 하에서 특정 극한 분포로 빠르게 농축됨을 증명함.
• Wasserstein 거리를 사용하여 온도($eta$)와 시간($t$)에 따른 두 분포의 수렴 속도를 정량적으로 분석함.
• 이론적 분석과 함께, 동역학이 값 행렬(V)의 스펙트럼에 의해 지배되는 종단 단계로 진입함을 보여줌.