Karpathy의 llm.c는 현재 AI 분야에서 가장 흥미로운 저장소 (repos) 중 하나입니다.

PyTorch 없음. cPython 없음. 오직 순수 C와 CUDA로 학습된 LLM (Large Language Models) 뿐입니다.
245MB 규모의 프레임워크도, 107MB 규모의 Python 런타임도 없습니다. 오직 직접 작성된 실제 수학 연산만이 존재합니다.

동일한 학습 실행 시 이미 PyTorch Nightly보다 7% 더 빠르게 작동합니다.

GPT-2를 20달러로 90분 만에 재현했습니다. 다음은 GPT-3 미니 시리즈입니다.

이 프로젝트는 nanoGPT에서 시작되었으며, 약 1,000줄의 필수적인 코드만 남을 때까지 불필요한 것들을 제거했습니다.

AI 분야에서 가장 진보된 움직임은 때때로 더 많은 것을 추가하는 것이 아니라, 추상화 계층 (abstraction layers)을 삭제하는 것입니다.

이 게시물을 북마크하세요. @cyrilXBT를 팔로우하세요.
[IMG:https://pbs.twimg.com/media/HMSLDchbIAAyPs3.png]