요약

본 워크숍은 Andrej Karpathy의 nanoGPT를 기반으로, GPT 학습 파이프라인의 모든 핵심 구성 요소(토크나이저, 트랜스포머 아키텍처, 학습 루프, 텍스트 생성)를 처음부터 직접 구현하는 실습 가이드입니다. 참가자들은 MacBook과 같은 일반적인 환경에서 최소한의 자원으로 작동 가능한 GPT 모델을 구축하며, 이 과정을 통해 LLM과 트랜스포머의 내부 동작 원리를 깊이 이해할 수 있습니다.

핵심 포인트

• GPT 학습 파이프라인의 핵심 요소(Tokenizer, Transformer 아키텍처, Training Loop 등)를 분해하여 직접 구현하는 실습 중심 워크숍입니다.
• nanoGPT의 개념을 차용하되, 모델 크기를 줄여 노트북 환경에서도 1시간 이내에 학습 가능한 수준으로 최적화했습니다.
• 작은 데이터셋(셰익스피어)에서는 BPE보다 문자 단위 토크나이저가 더 효과적이며, 이는 LLM 구현 시 고려해야 할 중요한 설계 결정입니다.
• PyTorch와 같은 프레임워크를 사용하여 최소한의 코드로도 작동하는 GPT 모델을 구축할 수 있음을 보여줍니다.