SE 블록과 Residual 연결을 조합했더니 예상치 못한 결과가 나왔습니다 【Keras × CIFAR-10 실험】

「SE 블록과 Residual 연결을 모두 사용하면 시너지 효과가 날 것이다」—— 저도 그렇게 생각했던 시기가 있었습니다.

CIFAR-10에서 4가지 패턴을 동일한 조건으로 실험한 결과, 조합이 단독 사용보다 낮은 예상치 못한 결과가 나왔습니다.

실험한 4가지 패턴

패턴	Residual	SE 블록
A: 베이스라인	✗	✗
...

결과 (test_accuracy)

SE only (80.57%) > Residual only (76.35%) > SE + Residual (76.00%) > Baseline (75.17%)

최고 정밀도는 **C(SE 단독)의 80.57%**였습니다.

조합한 D(76.00%)는 SE 단독보다 약 4.6포인트 미치지 못했습니다.

왜 조합이 패배했는가

D 패턴의 학습 로그를 보면, 에포크(Epoch) 10, 23, 27에서 val_loss가 2.3~2.5까지 튀어 오르는 장면이 여러 번 있었습니다. C 패턴의 Ep30 val_loss(0.91)에 비해, D는 Ep30에서도 1.20으로 불안정한 상태입니다.

Residual 연결의 Add()에 의해 기울기(Gradient)의 흐름이 바뀌면서, SE 블록의 채널 어텐션(Channel Attention) 가중치 최적화와 간섭했을 가능성이 있습니다.

이번에는 얕은 2블록 구성이었기 때문에, Residual에 의한 기울기 안정화의 혜택이 작았고, 오히려 SE의 효과를 상쇄하는 방향으로 작용했다고 생각됩니다.

SE 블록의 비용 효율성이 빛났다

패턴	test_accuracy	베이스라인 대비	파라미터 증가
A: 베이스라인	75.17%	—	—
B: Residual 단독	76.35%	+1.18pt	+42,496
C: SE 단독	80.57%	+5.40pt	+20,480
D: SE + Residual	76.00%	+0.83pt	+62,976

SE 단독은 파라미터 증가가 +1.8%로 최소한이면서도, 정밀도 향상은 최대인 +5.40포인트였습니다.

4가지 패턴 중 가장 비용 효율이 높은 수법이라는 결과입니다.

SE 블록 구현 (Keras)

def se_block(x, ratio=8):
    filters = x.shape[-1]
    se = keras.layers.GlobalAveragePooling2D()(x)
    ...

Conv2D 다음에 x = se_block(x)

를 한 줄 추가하는 것만으로 사용할 수 있습니다.

조합이 유효한 상황

SE+Residual 조합(SE-ResNet)이 유효한 것은, ResNet-50 이상의 깊은 네트워크나 대규모 데이터셋을 다루는 상황입니다.

얕은 구성에서는 "우선 SE 단독을 시도하는 것"이 합리적인 선택입니다.

상세한 실험 코드와 모든 에포크의 로그는 블로그 게시물에서 공개하고 있습니다.

👉 SE 블록 × Residual 연결을 조합하면 정밀도는 어떻게 변할까? CIFAR-10에서 4가지 패턴 비교 【Keras 실험】

Google Colab과 Keras로 머신러닝을 실험하고 있습니다. "직접 돌려보고 확인한다"를 모토로 블로그와 Zenn에서 발신 중입니다.

도움이 되었다면 '좋아요'를 눌러주시면 큰 힘이 됩니다!

Discussion