GPT-2 (124M) 재현하기

이 영상은 GPT-2 (124M) 을 처음부터 재현합니다. 이 영상은 전체 과정을 다룹니다: 먼저 GPT-2 네트워크를 구축하고, 그 다음 훈련을 매우 빠르게 최적화하며, OpenAI GPT-2 및 GPT-3 논문과 그들의 하이퍼파라미터를 따르는 훈련 실행을 설정한 후, 실행을 시작하고 다음 아침에 결과를 확인하며 재미있는 모델 생성을 즐깁니다. 일부 장소에서는 이전 영상의 지식 (Zero to Hero Playlist - 제 채널) 을 기반으로 합니다. 또한 이 영상을 nanoGPT 저장소 구축으로 볼 수 있으며, 끝날 때 약 90% 유사합니다.

링크:

• build-nanogpt GitHub 저장소: https://github.com/karpathy/build-nanogpt (이 영상에 있는 모든 변경 사항을 개별 커밋으로)
• nanoGPT 저장소: https://github.com/karpathy/nanoGPT
• llm.c 저장소: https://github.com/karpathy/llm.c
• 제 웹사이트: https://karpathy.ai
• 제 트위터: https://twitter.com/karpathy
• 우리 디스코드 채널: https://discord.gg/3zy8kqD9Cp

보충 링크:

• Attention is All You Need 논문: https://arxiv.org/abs/1706.03762
• OpenAI GPT-3 논문: https://arxiv.org/abs/2005.14165 - OpenAI GPT-2 논문: https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
• 훈련하는 GPU 는 Lambda GPU Cloud 에서의 것입니다, 클라우드에서 SSH 로 접속할 수 있는 온디맨드 GPU 인스턴스를 시작하는 가장 좋은 방법과 쉬운 방법이라고 생각합니다: https://lambdalabs.com

장:
00:00:00 intro: Let's reproduce GPT-2 (124M)
00:03:39 exploring the GPT-2 (124M) OpenAI checkpoint
00:13:47 SECTION 1: implementing the GPT-2 nn.Module
00:28:08 loading the huggingface/GPT-2 parameters
00:31:00 implementing the forward pass to get logits
00:33:31 sampling init, prefix tokens, tokenization
00:37:02 sampling loop
00:41:47 sample, auto-detect the device
00:45:50 let's train: data batches (B,T) → logits (B,T,C)
00:52:53 cross entropy loss
00:56:42 optimization loop: overfit a single batch
01:02:00 data loader lite
01:06:14 paramet