Transformer에서 기하학적 안정성 (Geometric Stability)을 예측하는 숨겨진 비율을 발견했습니다 [R]

요약

Lyapunov 스펙트럼 분석을 통해 Transformer 디코더 모델의 기하학적 안정성을 예측하는 새로운 지표를 발견했습니다. MLP와 Attention의 스펙트럼 노름 비율이 모델의 랭크-1 붕괴 여부를 결정하며, 안정적인 유지를 위해 이 비율을 0.5에서 2 사이로 관리하는 것이 중요함을 시사합니다.

핵심 포인트

• Lyapunov 스펙트럼 분석을 활용한 Transformer 모델의 안정성 분석
• MLP와 Attention 스펙트럼 노름 비율이 모델의 랭크-1 붕괴를 예측하는 핵심 지표임
• 모델의 안정성을 유지하기 위한 최적의 스펙트럼 비율은 0.5~2 사이임