Building makemore Part 3: 활성화 및 그래디언트, 배치 정규화

요약

이 기사는 다층 퍼셉트론(MLP)의 내부 작동 원리를 깊이 있게 탐구하며, 순전파 활성화 통계와 역전파 그래디언트 통계를 분석합니다. 특히, 이러한 값들이 적절히 스케일링되지 않았을 때 발생하는 학습 불안정성 문제를 다루고, 이를 해결하는 핵심 기술로 배치 정규화(Batch Normalization)를 소개합니다. 또한, 잔류 연결과 같은 후속 주제와 함께 신경망 훈련의 주요 과제들을 논하며, 관련 연구 논문 및 실습 과제를 제공합니다.

핵심 포인트

• MLP의 학습 과정에서 활성화 값과 그래디언트 값이 적절히 스케일링되지 않으면 학습이 불안정해질 수 있다.
• 배치 정규화(Batch Normalization)는 깊은 신경망 훈련 시 발생하는 내부 공변량 변화 문제를 해결하는 중요한 혁신이다.
• 학습 과정의 안정성을 진단하기 위해 활성화 및 그래디언트 통계 분석과 다양한 시각화 기법이 필요하다.
• 잔류 연결(Residual connections)과 같은 주제가 남아있으며, 이는 신경망 구조 개선을 위한 다음 단계 과제들이다.