현존 최고의 AI 전문가 Karpathy가 GitHub에 남긴 7개 저장소는 최고 가치의 무료 AI 학위 과정입니다.

현존 최고의 AI 전문가 Andrej Karpathy가 GitHub에 남긴 이 7개의 저장소는 전 세계에서 가장 높은 가치를 지닌 무료 AI 학위라고 할 수 있습니다.

비싼 입장료도, 상업적 마케팅도 없습니다. 정성껏 다듬은 7개의 GitHub 코드 저장소는 그가 이 시대에 남겨준 가장 소중하고 순수한 선물입니다!

오픈소스 커뮤니티 전체를 둘러봐도 대규모 모델(LLM)의 근본적인 논리를 이렇게 우아하고 순수하게 분해할 수 있는 사람은 Andrej Karpathy 한 명뿐인 것 같습니다.

이 딥러닝의 신, Tesla 자율주행 분야의 아버지 격인 인물이 코드 저장소에 우리 같은 일반 사람들을 위해 최고 수준의 하드코어 AI 심화 학습 경로를 조용히 준비해 두었습니다.

누적 별표 수(Star)가 30만 개가 넘는 오픈소스 프로젝트 7개를 순서대로 따라가면, 마치 처음부터 역전파(Backpropagation)를 손으로 코딩하는 것부터 자율 연구 에이전트(Autonomous Research Agent)를 구동하기까지의 완벽한 로드맵을 구성합니다.

일반 사람들이 대규모 모델을 배울 때는 복잡하고 이해하기 어려운 수많은 수학 공식과 논문을 먼저 파헤쳐야 한다고 생각하며, 결국 복잡한 환경 설정이나 프레임워크 의존성 문제에서 막히는 경우가 많습니다.

하지만 이 코드 세트의 놀라운 점은 모든 단계가 이전 단계의 블랙박스를 정확하게 해체한다는 것입니다:

첫 번째 단계 micrograd: 약 100줄의 깔끔한 Python 코드를 사용하여 신경망의 미분과 학습의 본질을 눈앞에 펼쳐 보여줍니다.

두 번째 단계 nn-zero-to-hero: 완벽한 강의 노트가 함께 제공되어, 단일 뉴런(neuron)부터 생성 모델(Generative Model)까지의 전체 연결 과정을 경험하게 합니다.

세 번째 단계 minbpe: 텍스트 인코딩의 근본적인 구조를 벗겨내어, 모든 현대 대규모 언어 모델이 사용하는 토큰화(Tokenization) 원리를 이해할 수 있게 해줍니다.

네 번째 단계 nanoGPT: 개인 연습에 가장 적합한 소형 프레임워크로, 자신만의 경량 생성 모델을 완전히 구동하는 과정을 도와줍니다.

다섯 번째 단계 llm.c: 무거운 딥러닝 프레임워크를 아예 버리고, 순수하게 C 언어와 그래픽 처리 장치(GPU) 하드웨어 명령어를 사용하여 전체 학습 과정을 하드코어로 재현합니다.

여섯 번째 단계 nanochat: 2019년에 4만 달러 이상이 필요했던 학습 작업을 수십 달러 수준으로 줄여서 완벽한 폐쇄 루프(closed loop)로 구동할 수 있게 합니다.

일곱 번째 단계 autoresearch: 코드를 자율적으로 테스트하고, 자동으로 검증하며, 반복 최적화하는 연구형 에이전트를 제공합니다.

이러한 과정을 완전히 이해하고 따라갈 수 있는 사람은 더 이상 여기저기서 파는 '프롬프트 속성반' 같은 것을 찾을 필요가 없습니다. 이미 근본적인 산업 구조(Industrial Pipeline) 자체가 당신의 코드 라이브러리에 갖춰져 있기 때문입니다.

물론 오픈소스 코드는 바로 사용할 수 있지만, 후반부에서 다루는 순수 하드웨어 명령어와 자율 테스트 프로젝트들은 여전히 당신이 메모리 할당 스케줄링(VRAM Scheduling)과 시스템 로그를 깊이 읽어내는 노력이 필요합니다. 코드가 무료라고 해서 손으로 디버깅하는 땀까지 아낄 수 있는 것은 아닙니다.

진정으로 인지적 격차를 벌리는 것은 당신이 얼마나 많은 기술 기사를 모아두었느냐가 아니라, 첫 줄의 코드부터 직접 그 모델을 구동해 본 경험이 있느냐입니다.