요약

MLP 뉴런의 해석 난이도를 낮추기 위해 Softmax Linear Units (SoLU) 를 제안합니다. 성능 저하 없이 이해하기 쉬운 기능에 반응하는 뉴런 비율을 높였습니다. 1 레이어 모델에서는 end-to-end 규칙과 명확히 대응하며, 대규모 모델에서는 토큰 분해 및 언어별 단어 인식 구조를 드러냅니다.

핵심 포인트

• SoLU 활성화 함수는 성능 저하 없이 해석 가능한 기능에 반응하는 뉴런 비율을 증가시킵니다.
• 1 레이어 Transformer 에서 SoLU 는 MLP 뉴런이 end-to-end 규칙 (예: base64 텍스트 인식) 과 명확히 대응하게 합니다.
• 대규모 모델에서 SoLU 는 초기 레이어가 'de-tokenize'하여 다중 토큰 단어와 특정 언어 단어를 인식하는 구조를 드러냅니다.