악마는 조건수(Condition Numbers)에 있다: 왜 GLU 구조가 비-GLU 구조보다 더 나은가?

요약

본 연구는 GLU(Gated Linear Units) 구조가 기존 비-GLU 구조보다 우수한 성능을 보이는 근본적인 원인을 NTK(Neural Tangent Kernel) 관점에서 분석합니다. 분석 결과, GLU는 NTK 스펙트럼을 재구성하여 더 작은 조건수와 조밀한 고윳값 분포를 유도함으로써 학습 수렴 속도를 가속화하는 것으로 나타났습니다. 또한, GLU의 주요 이점은 일반화 성능 향상보다는 최적화 과정의 효율성에 있음을 실험적으로 입증했습니다.

핵심 포인트

• GLU 구조는 NTK 스펙트럼을 재구성하여 더 작은 조건수(Condition Number)를 유도함
• 재구성된 스펙트럼은 더 조밀한 고윳값 분포를 만들어 학습 수렴을 가속화함
• GLU 모델과 비-GLU 모델 사이에서 특징적인 손실 교차(Loss-crossing) 현상이 관찰됨
• GLU의 핵심 이점은 일반화 격차(Generalization gap) 감소가 아닌 최적화(Optimization) 가속에 있음