Gated Linear Units (GLU) 및 그 변형들은 현대의 오픈 소스 대규모 언어 모델 (Large Language Model, LLM) 아키텍처에서 널리 채택되고 있으며, 게이트가 없는 (non-gated) 대응 모델들보다 일관되게 우수한 성능을 보이지만, 이러한 이점의 근본적인 원인은 여전히 불분명합니다. 본 연구에서는 뉴럴 탄젠트 커널 (Neural Tangent Kernel, NTK) 영역에서의 2층 네트워크 (two-layer networks)를 분석함으로써 GLU를 연구합니다. 우리의 분석은 GLU 구조가 NTK 스펙트럼 (spectrum)을 재구성하여, 더 작은 조건수 (condition number)와 더 조밀한 고윳값 분포 (eigenvalue distribution)를 유도한다는 것을 밝혀냅니다. 이러한 발견을 바탕으로, 우리는 결과적인 학습 역학 (training dynamics)을 추가로 분석하여 재구성된 스펙트럼이 어떻게 GLU 모델의 더 빠른 수렴 (convergence)으로 이어지는지 보여주며, 여기에는 GLU 모델과 비-GLU 모델 사이에서 관찰되는 특징적인 손실 교차 (loss-crossing) 현상이 포함됩니다. 마지막으로, 우리는 ViT 및 GPT-2를 포함한 다양한 모델에서 GLU가 일반화 격차 (generalization gap)를 줄이는 데 미치는 영향이 제한적임을 경험적으로 관찰하였으며, 이는 GLU의 주요 이점이 일반화 격차를 줄이는 것이 아니라 최적화 (optimization)를 가속화하는 데 있음을 시사합니다.