Building makemore Part 3: 활성화 및 그래디언트, 배치 정규화
요약
이 기사는 다층 퍼셉트론(MLP)의 내부 작동 원리를 깊이 있게 탐구하며, 순전파 활성화 통계와 역전파 그래디언트 통계를 분석합니다. 특히, 이러한 값들이 적절히 스케일링되지 않았을 때 발생하는 학습 불안정성 문제를 다루고, 이를 해결하는 핵심 기술로 배치 정규화(Batch Normalization)를 소개합니다. 또한, 잔류 연결과 같은 후속 주제와 함께 신경망 훈련의 주요 과제들을 논하며, 관련 연구 논문 및 실습 과제를 제공합니다.
핵심 포인트
- MLP의 학습 과정에서 활성화 값과 그래디언트 값이 적절히 스케일링되지 않으면 학습이 불안정해질 수 있다.
- 배치 정규화(Batch Normalization)는 깊은 신경망 훈련 시 발생하는 내부 공변량 변화 문제를 해결하는 중요한 혁신이다.
- 학습 과정의 안정성을 진단하기 위해 활성화 및 그래디언트 통계 분석과 다양한 시각화 기법이 필요하다.
- 잔류 연결(Residual connections)과 같은 주제가 남아있으며, 이는 신경망 구조 개선을 위한 다음 단계 과제들이다.
여러 레이어를 가진 MLP 의 내부 구조를 깊이 있게 탐구하며, 순전파 (forward pass) 활성화 통계와 역전파 그래디언트 통계에 대해 분석합니다. 또한, 이들이 적절히 스케일링되지 않았을 때 발생할 수 있는 문제점과 이를 진단하고 네트워크의 건강 상태를 이해하는 데 필요한 일반적인 도구 및 시각화 기법을 살펴봅니다.
우리는 왜 깊은 신경망을 학습시키는 것이 취약한지 배우고, 이를 훨씬 쉽게 만드는 첫 번째 현대적 혁신인 배치 정규화 (Batch Normalization) 를 소개합니다. 잔류 연결 (Residual connections) 과 Adam 옵티마이저는 아직 남아있는 중요한 과제들입니다.
유용한 링크:
- Kaiming init 논문: https://arxiv.org/abs/1502.01852
- BatchNorm 논문: https://arxiv.org/abs/1502.03167
- Bengio et al. 2003 MLP 언어 모델 논문 (pdf): https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
- 실제 상황에서 배치 정규화에 문제가 있음을 보여주는 좋은 논문: https://arxiv.org/abs/2105.07576
과제:
- E01: 모든 가중치와 편향을 0 으로 초기화했을 때 어떤 일이 일어나는지 확인하지 못했습니다. 이를 시도해 보시고 신경망을 학습시켜 보세요. 네트워크가 잘 훈련된다거나 (1), 전혀 훈련되지 않는다고 생각할 수 있지만, 실제로는 (3) 네트워크가 훈련되지만 부분적으로만 훈련되고 매우 낮은 최종 성능을 달성한다는 것입니다. 그래디언트와 활성화 값을 확인하여 어떤 일이 일어나고 있는지, 그리고 왜 네트워크가 부분적으로만 훈련되는지 파악하세요. 정확히 어떤 부분이 훈련되는지도 확인하세요.
- E02: BatchNorm 은 LayerNorm/GroupNorm 등 다른 정규화 레이어와 달리, 훈련 후에도 큰 장점이 있습니다 (문제가 잘려진 상태)
AI 자동 생성 콘텐츠
본 콘텐츠는 YouTube AI 채널의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기2