Keras Dense 레이어 활성화 함수: ReLU 대신 ELU 사용 시 CIFAR-10 정확도 향상
요약
MNIST 데이터셋에서는 ReLU, GELU, ELU의 성능 차이가 미미하지만, CIFAR-10과 같은 더 복잡한 이미지 분류 작업에서는 활성화 함수 선택이 중요함을 보여줍니다. Conv2D 레이어는 ReLU로 고정하고 Dense 레이어만 활성화 함수를 변경하는 간단한 실험을 통해, ELU가 ReLU 대비 테스트 정확도를 67.52%에서 68.94%로 높이는 결과를 확인했습니다.
핵심 포인트
- MNIST 데이터셋에서는 ReLU, GELU, ELU의 성능 차이가 거의 없으나 CIFAR-10에서는 활성화 함수 선택이 정확도에 큰 영향을 미칩니다.
- Conv2D 레이어는 ReLU를 고정하고 Dense 레이어만 활성화 함수 (ReLU/GELU/ELU) 를 변경하는 실험 설계가 효과적입니다.
- CIFAR-10 데이터셋에서 Dense 레이어의 활성화 함수를 ReLU에서 ELU로 변경하면 테스트 정확도가 67.52%에서 68.94%로 상승합니다.
CNN 의 Dense 레이어를 ReLU 에서 ELU 로 바꾸면 정확도가 올라가는 이야기【Keras × CIFAR-10】
Keras 의 Dense 레이어의 활성화 함수는, 아무 생각 없이 relu 로 설정하고 있지 않으신가요? MNIST 데이터셋이라면 relu, gelu, elu 의 차이는 거의 제로입니다 (기존 비교 실험에서 확인됨). 그렇다면 CIFAR-10 이라면 어떨까요? 실험해 보았습니다.
실험 조건
- 모델: Conv2D × 2 레이어 (
relu고정) + GAP + Dropout=0.2 - 변수: Dense 레이어의 활성화 함수를
relu/gelu/elu의 3 패턴으로만 변경 - 데이터셋: CIFAR-10, 30 에포크
결과
| activation | Test Acc | 학습 시간 |
|---|---|---|
| relu | 67.52% | 133.1 초 |
| gelu | 68.94% | 133.1 초 |
| elu | 68.94% | 133.1 초 |
결론
ReLU 를 사용하는 것이 항상 최선은 아닙니다. 특히 CIFAR-10 과 같이 더 복잡한 데이터셋에서는 GELU 나 ELU 로 활성화 함수를 변경하는 것이 ReLU 보다 높은 정확도를 얻을 수 있습니다. 실험을 통해 확인했습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 Zenn ML의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2