이 영상은 신경망과 역전파 (backpropagation) 훈련에 대한 가장 단계별 설명입니다. 고등학교 수학의 약간의 회상과 기본 Python 지식만 가정합니다.

링크:

• micrograd on github: https://github.com/karpathy/micrograd
• 이 영상에서 만든 jupyter notebooks: https://github.com/karpathy/nn-zero-to-hero/tree/master/lectures/micrograd
• 나의 웹사이트: https://karpathy.ai
• 나의 트위터: https://twitter.com/karpathy
• "discussion forum": 현재는 유튜브 댓글을 사용하세요 :)
• (새로운) 신경망: 제로 투 히어로 시리즈 디스코드 채널: https://discord.gg/3zy8kqD9Cp, 더 많이 대화하고 유튜브 댓글을 넘어가려는 분들을 위해

과제:
이제 다음 구글 콜랩을 완료할 수 있어야 합니다. 행운을 빕니다!:
https://colab.research.google.com/drive/1FPTx1RXtBfc4MaTkf7viZZD4U2F9gtKN?usp=sharing

장:
00:00:00 소개
00:00:25 미크로그래드 개요
00:08:08 하나의 입력을 가진 단순 함수의 도함수
00:14:12 여러 입력을 가진 함수의 도함수
00:19:09 미크로그래드의 핵심 Value 객체 시작 및 시각화
00:32:10 수동 역전파 예제 #1: 단순 식
00:51:10 단일 최적화 단계 미리보기
00:52:52 수동 역전파 예제 #2: 뉴런
01:09:02 각 연산에 대한 backward 함수 구현
01:17:32 전체 표현식 그래프의 backward 함수 구현
01:22:28 하나의 노드가 여러 번 사용될 때 버그 수정
01:27:05 tanh 분해, 더 많은 연산으로 연습
01:39:31 PyTorch 에서 동일하게 수행: 비교
01:43:55 미크로그래드에서 신경망 라이브러리 구축 (멀티레이퍼셉트론)
01:51:04 작은 데이터셋 생성, 손실 함수 작성
01:57:56 신경망의 모든 파라미터 수집
02:01:12 수동 경사 하강 최적화 수행, 네트워크 훈련
02:14:03 배운 내용 요약, 현대 신경망으로 가는 방법
02:16:46 미크로그래드의 전체 코드 walkthrough