GEM: ReLU의 단점을 보완한 초매끄러운 활성화 함수 계열

요약

본 논문은 기존 활성화 함수(예: ReLU)가 가지는 불연속성 문제를 해결하기 위해 $C^{2N}$-매끄러운 특성을 가진 새로운 계열의 활성화 함수, GEM(Geometric Monomial)을 제안합니다. GEM은 유리수 산술만을 사용하면서도 ReLU와 유사한 성능을 달성하며, 세 가지 변형체(GEM, E-GEM, SE-GEM)를 제시합니다. 특히 $N=1$ 설정이 표준 깊이 네트워크에서 최적의 성능을 보이며, CIFAR-100 + ResNet-56에서 GELU 대비 큰 폭으로 성능 향상을 입증했습니다. 이 연구는 CNN과 트랜스

핵심 포인트

• GEM은 유리수 산술만을 사용하면서도 $C^{2N}$-매끄러운 활성화 함수 계열을 제공하여 ReLU의 불연속성 문제를 해결합니다.
• $N=1$ 설정이 표준 깊이 네트워크에 최적이며, CIFAR-100 + ResNet-56에서 GELU 대비 6.10%의 손실(deficit)을 2.12%로 크게 줄였습니다.
• SE-GEM은 $C^{2N}$ 접합부 부드러움을 유지하면서 데드 뉴런 문제를 제거하는 변형체이며, CIFAR-10에서 GELU를 능가한 첫 GEM 계열 활성화 함수입니다.
• 활성화 함수의 매끄러움 파라미터($N$)는 네트워크 구조에 따라 최적값이 달라집니다: 깊은 CNN에는 $N=1$, 트랜스포머에는 $N=2$가 선호됩니다.