딥러닝을 배우기 시작하면서 바로 torch를 import해서 모델이 돌아가는 것을 경험했지만, 면접관이 역전파(backpropagation)에서 기울기가 어떻게 전달되는지 묻자 말을 더듬거리며 대답하지 못하는 경우가 있습니다.

TrenTorch는 PyTorch를 사용하지 않고 NumPy만을 이용해 처음부터 자신만의 딥러닝 프레임워크를 작성하는 방식입니다. 이 과정은 하버드 CS249r 강의의 TinyTorch를 따라 재현했으며, 그보다 더 앞선 내용까지 다루고 있습니다.

총 20개의 모듈로 네 부분으로 구성되어 있으며, 먼저 텐서(tensor), 활성화 함수(activation function), 레이어(layer), 손실 함수(loss), 자동 미분(automatic differentiation), 최적화기(optimizer), 학습 루프(training loop) 등 8가지 기초 블록을 다룹니다. 이후에는 컨볼루션(convolution)을 통해 이미지 분류를 진행합니다.

세 번째 부분에서는 토큰화(tokenization), 단어 임베딩(word embedding), 멀티 헤드 어텐션(multi-head attention), 그리고 Transformer를 다루며, 최종적으로 GPT 스타일의 언어 모델을 구현합니다. 네 번째 부분은 추론(inference)에 초점을 맞추어 성능 분석, 양자화(quantization), KV 캐시 가속 등을 다루고, 최적화기는 AdamW, Lion, Muon까지 진행됩니다.

각 섹션을 마칠 때마다 역사적인 이정표를 재현하며 자신이 작성한 프레임워크로 고전 모델을 실행해 볼 수 있습니다. 또한, 자체 tren 커맨드라인이 내장되어 있어 진도 관리와 테스트가 모두 가능합니다.

20개 모듈은 작아서 한 번에 읽어낼 수 있다고 저자는 말하지만, 저는 문서만 보는 것보다 더 실질적이라고 느낍니다. 프레임워크 내부에서 실제로 무슨 일이 벌어지는지 제대로 이해하고 싶다면 따라 쳐보는 것이 좋습니다.