Building makemore Part 4: Backpropagation Ninja가 되는 법
요약
이 영상은 Andrej Karpathy의 'makemore' 시리즈 중 네 번째 파트로, PyTorch의 `loss.backward()` 같은 자동 미분 기능을 사용하지 않고 수동으로 역전파(backpropagation) 과정을 구현하는 방법을 다룹니다. 참가자들은 2-layer MLP 구조에 크로스 엔트로피 손실, tanh 활성화 함수, 배치 정규화(BatchNorm), 임베딩 테이블 등을 포함하여 전체 계산 그래프를 따라 기울기(gradients)가 어떻게 역방향으로 흐르는지 직접 경험하게 됩니다. 이 과정을 통해 참가자들은 신경망 최적화 원리에 대한 깊은 직관과 실질적인 이해도를 쌓을 수 있습니다.
핵심 포인트
- 자동 미분 함수(`loss.backward()`)에 의존하지 않고, 핵심 구성 요소(Cross Entropy Loss, BatchNorm 등)를 사용하여 역전파 과정을 직접 구현하는 방법을 학습합니다.
- 신경망의 최적화 과정에서 기울기(gradients)가 계산 그래프를 따라 어떻게 효율적으로 역방향으로 흐르는지 깊은 직관을 얻게 됩니다.
- 이 실습은 단순히 지식을 습득하는 것을 넘어, 참가자가 직접 코드를 작성하며 신경망 구조와 작동 원리를 몸으로 체화하도록 설계되었습니다.
- 배치 정규화(BatchNorm)나 임베딩 테이블 같은 복잡한 구성 요소가 전체 모델 최적화 과정에 어떻게 통합되는지 이해할 수 있습니다.
Video: Building makemore Part 4: Backpropagation Ninja 가 되는 법
Channel: Andrej Karpathy
Duration: 115m
이전 영상에서 (BatchNorm 을 포함한) 2-layer MLP 를 가져와서 PyTorch autograd 의 loss.backward() 를 사용하지 않고 수동으로 backpropagate 합니다. cross entropy loss, 2nd linear layer, tanh, batchnorm, 1st linear layer, 그리고 embedding table 를 통해. 이 과정에서 우리는 gradients 가 compute graph 를 통해 어떻게 역방향으로 흐르는지에 대해 강한 직관을 얻고, individual scalars 과는 달리 효율적인 Tensors 의 수준에 도달합니다. 이는 neural nets 가 어떻게 최적화되는지에 대한 competence 와 intuition 을 쌓아주고, modern neural networks 를 더 자신감 있게 innovate 하고 debug 할 수 있도록 준비시킵니다.
!!!!!!!!!!!!
저는 여러분이 이 연습을 직접 수행하되, 동시 진행하며 막히면 영상을 일시정지하고 제가 답변을 알려주는 것을 보시길 권장합니다. 이 영상은 단순히 시청하기 위해 설계된 것이 아닙니다. 연습은 여기 있습니다:
https://colab.research.google.com/drive/1WV2oi2fh9XXyldh02wupFQX0wh5ZC-z-?usp=sharing
!!!!!!!!!!!!
Links:
- makemore on github: https://github.com/karpathy/makemore
- jupyter notebook 이 이 영상에서 만든 것: https://github.com/karpathy/nn-zero-to-hero/blob/master/lectures/makemore/makemore_part4_backprop.ipynb
- collab notebook: https://colab.research.google.com/drive/1WV2oi2fh9XXyldh02wupFQX0wh5ZC-z-?usp=sharing
- my website: https://karpathy.ai
- my twitter: https://twitter.com/karpathy
- our Discord channel: https://discord.gg/3zy8kqD9Cp
Supplementary links:
- Yes you should understand backprop: https://karpathy.medium.com/yes-you-should-understand-backprop-e2f06eab496b
- BatchNorm paper: https://arxiv.org/abs/1502.03167
- Bessel's Correction: http://math.oxford.emory.edu/site/math117/besselCorrection/
- Bengio et al. 2003 MLP LM https://www.jmlr.org/papers/volume3/bengio03a/bengio03a.pdf
Chapters:
00:00:00 intro: why you should care & fun history
00:07:26 starter code
00:13:01 exercise 1: backproping the atomic compute graph
01:05:17 brief digression: bessel's correction in batchnorm
01:26:31 exercise 2
AI 자동 생성 콘텐츠
본 콘텐츠는 YouTube AI 채널의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기