젠장, Karpathy가 여러분이 여전히 팔로워 3000명짜리 사람의 YouTube 튜토리얼을 보며 매달 $200를 지불하는 동안 전체 AI 학위를 GitHub에 무료로 올렸습니다.
총 6개의 저장소(repo)입니다. 합산 별점은 306,741개입니다. 이 순서대로 따라가면 '뉴런이 어떻게 학습하는지'부터 '당신이 잠자는 동안 연구를 수행하는 에이전트'까지 배울 수 있습니다.
여기서 건너뛰는 모든 저장소는 여러분의 직장 경쟁자들이 이미 가지고 있지만, 당신은 가지지 못한 이해도의 한 층입니다. 그리고 매달 계속 '시작할 계획'만 세우는 것은, 팀원 중 누군가 당신이 진행했어야 할 AI 프로젝트를 맡게 되는 또 다른 달을 의미합니다.
정확한 순서입니다. 절대 순서를 바꾸지 마십시오.
- micrograd → https://t.co/hJiSPSIj6a
신경망(neural net)이 실제로 어떻게 학습하는지 보여줍니다. 약 100줄의 Python 코드로 역전파(backpropagation)를 구현했습니다. 이 파일이야말로 지구상의 모든 AI 엔지니어가 시작했던 지점입니다. 만약 여러분이 이 파일을 읽을 수 없다면, 목록에 있는 다른 어떤 저장소도 여러분에게는 마법처럼 느껴질 것입니다.
- nn-zero-to-hero → https://t.co/SP4xPWROBQ
그의 전체 비디오 코스입니다. 단일 뉴런부터 GPT까지 안내하는 강의 노트들이 담겨 있습니다. 이는 AI '부트캠프'에서 가르치는 내용 중 극히 일부에 불과하며, 사람들이 2000달러를 지불하는 것보다 훨씬 더 많은 내용을 이 무료 저장소 하나가 담고 있습니다.
- minbpe → https://t.co/C26umjtNQF
텍스트가 실제로 어떻게 토큰(token)으로 변환되는지 보여줍니다. 모든 LLM 내부에 존재하는 토크나이저를 깔끔하고 최소한의 코드로 구현했습니다. 이 부분은 독학하는 사람들의 95%가 건너뛰는 부분이며, 바로 이것 때문에 그들이 만든 모델들은 제대로 작동하지 않는 것입니다.
- nanoGPT → https://t.co/L9KRD3TeSR
자신만의 GPT입니다. 학습하고 미세 조정(fine-tune)하기 위한 존재상 가장 간단한 저장소입니다. 이 파일을 본 후에는 'ChatGPT는 어떻게 작동하는가?'라는 질문을 멈추게 될 것입니다. 왜냐하면 여러분 스스로의 손으로 더 작은 버전을 실제로 구축했기 때문입니다.
- llm.c → https://t.co/gvBIEZmQga
숨김 처리(hidden) 없이 동일한 학습 과정을 보여줍니다. 순수 C와 CUDA를 사용하며, PyTorch 래퍼가 어려운 부분을 대신 처리해주지 않습니다. 이 지점에서 여러분은 프롬프트 엔지니어(prompt engineer)가 아니라 실제 엔지니어가 되기 시작합니다.
- nanochat → https://t.co/DCgXmWJXvG
엔드투엔드로 작동하는 완전한 채팅 모델입니다. 2019년에는 약 43,000달러가 들었던 GPT-2 수준의 트레이닝이 이 저장소에서는 약 48달러로 가능합니다. 잠시 생각해 보세요. 사람들이 혁신이라고 불렀던 것이 이제는 주말 프로젝트가 되었습니다.
- autoresearch → https://t.co/PwBeSJucRR
연구를 대신해 주는 에이전트(agent)입니다. 이 에이전트는 사용자의 트레이닝 코드를 수정하고, 5분 동안 트레이닝을 진행하며, 개선된 부분은 유지하고 그렇지 않은 부분은 폐기한 뒤, 당신이 잠자는 동안 밤새 반복합니다. 바로 여기서 이 목록을 읽는 사람들이 학생의 지위를 벗어나 그 다음 단계가 되는 존재가 됩니다.
대부분의 사람들이 피하는 잔인한 진실은 이렇습니다: GPT를 처음부터 직접 트레이닝하면, 당신은 회사에서 AI 프로젝트와 그에 따르는 급여 인상을 받는 사람이 됩니다. 계속 "시작할 계획을 세우기만" 한다면, 당신은 다른 사람에게 일어나는 일을 지켜보는 사람이 될 뿐입니다.
같은 학위의 교실 부분, 즉 스탠퍼드(Stanford)가 실제로 가르치는 진정한 AI에 대한 내용은 아래와 같습니다.
https://t.co/VySBto3XA6