전 OpenAI의 Andrej Karpathy가 미친 프로젝트를 시작했습니다.

단돈 1,000달러로 훈련시킨 ChatGPT는 코드 양이 믿기지 않을 정도로 적으며, 핵심 로직을 모두 이해할 수 있습니다.

사전 학습 (Pre-training)부터 미세 조정 (Fine-tuning), 강화 학습 (RL)에 이르기까지, 전체 LLM 개발 프로세스가 단 몇 개의 Python 파일에 응축되어 있습니다.

가장 놀라운 점은, 실제로 몇만 달러를 들여 대화가 가능한 모델을 처음부터 직접 훈련시킬 수 있으며, 코드 실행까지 가능하다는 것입니다.

수많은 블랙박스 (Black box) 설정이 포함된 다른 프로젝트들과 달리, 이 프로젝트는 대규모 언어 모델 (LLM)이 어떻게 작동하는지 완전히 파악할 수 있게 해줍니다.

AI 원리를 이해하고 싶다면, 지금 이보다 더 좋은 교재는 없습니다 👇