뼈아픈 사실을 말하자면, 대부분이 말하는 LLM 학습은 본질적으로 남이 만든 도구를 사용하는 법을 배우는 것일 뿐, 엔진 덮개조차 열어본 적이

뼈아픈 사실을 말하자면, 대부분이 말하는 LLM (Large Language Model) 학습은 본질적으로 남이 만든 도구를 사용하는 법을 배우는 것일 뿐, 엔진 덮개조차 열어본 적이 없다.

Stanford CS336 강의의 가장 무서운 점은 바로 그 덮개를 직접 열어버린다는 것이다. 토큰화 (Tokenization), Transformer 아키텍처, GPU 최적화부터 데이터 클리닝 (Data Cleaning), scaling laws, 정렬 기술 (Alignment)에 이르기까지, 다섯 개의 과제를 통해 전체 파이프라인을 처음부터 직접 구축하게 만든다. 강의는 보조일 뿐이며, 직접 만들어보는 것이 핵심이다.

라이브러리를 호출하는 것(调包)은 빠르게 데모(Demo)를 만들 수 있게 해주지만,
직접 구현하는 것(手搓)만이 시스템적 직관을 얻게 해준다.
FlashAttention이 왜 빠른지 논문을 백 편 읽는 것보다, 직접 Triton으로 한 번 구현해 보는 것이 훨씬 기억에 남는다.
다른 사람의 훈련 스크립트를 열 번 돌려보는 것보다, 직접 더러운 데이터(Dirty Data)를 한 번 처리해 보는 것이 scaling의 본질을 이해하는 데 더 낫다.

많은 이들이 이렇게까지 힘들 필요가 없다고, 사용할 줄만 알면 된다고 생각하지만, 모든 한계(Ceiling)는 본질적으로 저층부 이해의 부족에서 온다는 것을 모른다. 각 계층의 컴포넌트(Component)를 더 명확하게 이해할수록, 상위 계층에서 설계할 수 있는 공간은 더 커진다.

Knowledge is never kind,
진정 가치 있는 지식은 습득 과정에 반드시 좌절과 시간이 수반된다. 정보는 이미 모든 사람 앞에 놓여 있다. 부족한 것은 자원이 아니라, 마음을 가라앉히고 직접 한 번 구현해 보려는 실행력이다.

정말 제대로 파고들고 싶다면 바로 Assignment 1부터 시작하라. 매주 15시간을 확보한다면, 3개월 후 당신의 LLM에 대한 이해도는 차원이 달라져 있을 것이다.