OpenAI의 공동 창업자이자 'Vibe Coding'이라는 용어를 만든 사람인 Andrej Karpathy가 GPT를 처음부터 구축하는 2시간짜리 무료 강의를 제공합니다.

단순한 표면적 설명이 아닙니다.

토큰화(Tokenization), 어텐션(attention), 실제 트랜스포머 아키텍처(Transformer architecture) 등, 실제로 작동하는 모델을 만들기 위해 실 데이터셋으로 한 줄씩 구축하는 과정을 다룹니다.

긴 채팅에서 메시지당 토큰 비용이 증가하는 근본적인 이유 또한 이해할 가치가 있습니다. 각 턴마다 전체 대화 기록이 재전송되기 때문에, 비용은 새로운 메시지만이 아니라 모든 답변과 함께 복리처럼 쌓입니다.

이 강의에서는 바로 그 메커니즘을 기초부터 실제로 설명합니다.

이 글을 북마크하고 오늘 2시간을 투자하세요.