CNN 의 Dense 레이어를 ReLU 에서 ELU 로 바꾸면 정확도가 올라가는 이야기【Keras × CIFAR-10】

Keras 의 Dense 레이어의 활성화 함수는, 아무 생각 없이 relu 로 설정하고 있지 않으신가요? MNIST 데이터셋이라면 relu, gelu, elu 의 차이는 거의 제로입니다 (기존 비교 실험에서 확인됨). 그렇다면 CIFAR-10 이라면 어떨까요? 실험해 보았습니다.

실험 조건

• 모델: Conv2D × 2 레이어 (relu 고정) + GAP + Dropout=0.2
• 변수: Dense 레이어의 활성화 함수를 relu/gelu/elu 의 3 패턴으로만 변경
• 데이터셋: CIFAR-10, 30 에포크

결과

결론

ReLU 를 사용하는 것이 항상 최선은 아닙니다. 특히 CIFAR-10 과 같이 더 복잡한 데이터셋에서는 GELU 나 ELU 로 활성화 함수를 변경하는 것이 ReLU 보다 높은 정확도를 얻을 수 있습니다. 실험을 통해 확인했습니다.