Building makemore Part 3: 활성화 및 그래디언트, 배치 정규화

이 기사는 다층 퍼셉트론(MLP)의 내부 작동 원리를 깊이 있게 탐구하며, 순전파 활성화 통계와 역전파 그래디언트 통계를 분석합니다. 특히, 이러한 값들이 적절히 스케일링되지 않았을 때 발생하는 학습 불안정성 문제를 다루고, 이를 해결하는 핵심 기술로 배치 정규화(Batch Normalization)를 소개합니다. 또한, 잔류 연결과 같은 후속 주제와 함께 신경망 훈련의 주요 과제들을 논하며, 관련 연구 논문 및 실습 과제를 제공합니다.