Let's build GPT: from scratch, in code, spelled out.

요약

이 강의는 'Attention is All You Need' 논문과 OpenAI의 GPT-2/GPT-3 아키텍처를 기반으로 Generative Pretrained Transformer (GPT) 모델을 처음부터 코드로 구현하는 과정을 다룹니다. ChatGPT와 같은 최신 LLM의 작동 원리를 깊이 있게 이해할 수 있도록, 오토회귀 언어 모델링 프레임워크, 텐서 기초, PyTorch nn 사용법 등을 단계적으로 학습합니다. 강사는 학생들이 충분한 배경 지식을 갖추도록 이전 강의(makemore 등) 시청을 권장하며, 실습 환경과 관련 자료를 풍부하게 제공하고 있습니다.

핵심 포인트

• GPT 모델의 핵심 아키텍처 (Attention is All You Need 기반)를 코드로 구현하는 방법을 배운다.
• 오토회귀 언어 모델링(Autoregressive Language Modeling) 프레임워크와 텐서 연산의 기초 지식을 습득한다.
• PyTorch nn 모듈을 사용하여 복잡한 신경망 구조를 구축하고 학습시키는 실질적인 경험을 제공한다.
• 실습용 Google Colab 및 GitHub 저장소를 통해 따라 하기 쉬운 환경과 풍부한 자료를 제공받는다.