여러 레이어를 가진 MLP 의 내부 구조를 깊이 있게 탐구하며, 순전파 (forward pass) 활성화 통계와 역전파 그래디언트 통계에 대해 분석합니다. 또한, 이들이 적절히 스케일링되지 않았을 때 발생할 수 있는 문제점과 이를 진단하고 네트워크의 건강 상태를 이해하는 데 필요한 일반적인 도구 및 시각화 기법을 살펴봅니다.

우리는 왜 깊은 신경망을 학습시키는 것이 취약한지 배우고, 이를 훨씬 쉽게 만드는 첫 번째 현대적 혁신인 배치 정규화 (Batch Normalization) 를 소개합니다. 잔류 연결 (Residual connections) 과 Adam 옵티마이저는 아직 남아있는 중요한 과제들입니다.

유용한 링크:

• Kaiming init 논문: https://arxiv.org/abs/1502.01852
• BatchNorm 논문: https://arxiv.org/abs/1502.03167
• Bengio et al. 2003 MLP 언어 모델 논문 (pdf): https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
• 실제 상황에서 배치 정규화에 문제가 있음을 보여주는 좋은 논문: https://arxiv.org/abs/2105.07576

과제:

• E01: 모든 가중치와 편향을 0 으로 초기화했을 때 어떤 일이 일어나는지 확인하지 못했습니다. 이를 시도해 보시고 신경망을 학습시켜 보세요. 네트워크가 잘 훈련된다거나 (1), 전혀 훈련되지 않는다고 생각할 수 있지만, 실제로는 (3) 네트워크가 훈련되지만 부분적으로만 훈련되고 매우 낮은 최종 성능을 달성한다는 것입니다. 그래디언트와 활성화 값을 확인하여 어떤 일이 일어나고 있는지, 그리고 왜 네트워크가 부분적으로만 훈련되는지 파악하세요. 정확히 어떤 부분이 훈련되는지도 확인하세요.
• E02: BatchNorm 은 LayerNorm/GroupNorm 등 다른 정규화 레이어와 달리, 훈련 후에도 큰 장점이 있습니다 (문제가 잘려진 상태)