현대적 LLM 컴파일러 스택 개요: 대화형 및 해킹 가능한 컴파일러 작성하기

요약

본 글은 라이브러리 없이 순수 Python과 raw CUDA만을 사용하여 바닥부터 구축한 소규모 ML 컴파일러 스택의 설계 과정을 다룹니다. Transformer 모델을 6단계의 중간 표현(IR)을 통해 CUDA 커널로 변환하는 과정을 설명하며, 실험 결과 PyTorch 프로덕션 스택에 근접하는 성능과 일부 커널에서의 압도적인 속도 향상을 입증했습니다.

핵심 포인트

• 순수 Python과 raw CUDA를 사용하여 6단계의 중간 표현(IR)을 갖춘 ML 컴파일러를 직접 구현함
• Torch IR부터 CUDA 소스 코드 생성까지 이어지는 단계별 컴파일 파이프라인(Tensor, Loop, Tile, Kernel IR)을 제시함
• RTX 5090 환경에서 PyTorch 스택 대비 기하평균 0.96배의 성능을 기록하며 실용성을 증명함
• 특정 커널의 경우 PyTorch의 수동 최적화 커널보다 최대 5.6배 빠른 성능을 달성함