우리는 대규모 언어 모델(LLMs)에서 GLU 기반 뉴런의 학습된 입력-출력 동작을 분석합니다. 우리는 간단한 분석 방법을 제안합니다: 각 뉴런에 대해, 그 입력(읽기) 가중치 벡터와 출력(쓰기) 가중치 벡터 간의 코사인 유사도를 계산합니다. 이 방식에서, 강한 음의 코사인 유사도는 해당 뉴런이 잔여 스트림(residual stream)에서 감지하는 방향을 약화시킨다는 것을 의미하므로, 이를 약화 뉴런(weakening neuron)이라고 부릅니다. 이는 우리가 여러 가지 새로운 통찰력을 얻게 해줍니다. 첫째, 우리는 아홉 개의 다른 LLM들이 유사한 패턴을 보인다는 것을 보여줍니다: 약화 뉴런은 주로 후기 레이어(late layers)에서 나타나는 반면, 그 대응물인 (조건부) 강화 뉴런(conditional strengthening neurons)은 초기-중기 레이어(early-middle layers)에서 빈번하게 나타납니다. 둘째, 우리는 약화 뉴런이 놀라운 동작을 보인다는 것을 발견합니다: 비록 수가 적지만, 자주 활성화되며 모델 동작에 큰 영향을 미칩니다. 셋째, 게이트 값이 음수일 때 약화 뉴런은 모델 출력에 강한 영향을 미치는데, 이는 음의 게이트 값이 기능성을 인코딩할 것으로 예상되지 않기 때문에 놀라운 결과입니다.