从头编写 LLM 编译器：PyTorch 到 CUDA 的 5,000 行 Python

요약

이 기술 기사는 PyTorch에서 CUDA 커널 실행까지의 복잡한 ML 컴파일러 스택을 직접 구축하는 과정을 다룹니다. 저자는 기존 프레임워크(PyTorch, TVM 등)가 가진 복잡성을 피하고, 순수 Python과 raw CUDA만을 사용하여 작은 LLM 모델을 위한 컴파일러를 처음부터 설계했습니다. 이 컴파일러는 Torch IR부터 Kernel IR까지 6단계의 계층적 파이프라인을 가지며, 각 단계에서 연산 그래프 분석, 루프 융합, 타일링 등 최적화가 이루어집니다. 최종적으로 생성된 CUDA 커널은 명확하게 분리되고 디버깅 가능한 구조를 보여주며, 성능은 기존 생산 스택의 50-90% 수준에 도달함을 입증했습니다.

핵심 포인트

• ML 컴파일러 스택을 처음부터 구축하여 PyTorch -> CUDA 과정을 직접 구현함.
• 컴파일러는 Torch IR (FX 그래프) $\rightarrow$ Tensor IR $\rightarrow$ Loop IR $\rightarrow$ Tile IR $\rightarrow$ Kernel IR $\rightarrow$ CUDA의 6단계 계층적 파이프라인을 가짐.
• Tensor IR 도입은 ONNX나 Jax 같은 미래 프론트엔드 지원을 목표로 함.
• 각 단계가 독립적으로 검사 및 디버깅 가능하도록 설계되어 복잡성을 낮춤.
• 최종 성능은 기존 생산 스택 대비 50-90% 수준으로, 학술적 이해와 실용성 사이의 균형을 보여줌.