AI 에이전트가 CUDA 커널을 생성하고 최적화하는 방법

요약

본 글은 AI 코딩 에이전트(Codex, Claude 등)에게 도메인 지식(Domain Knowledge)을 주입하여 복잡한 CUDA 커널 개발 작업을 자동화하는 방법을 소개합니다. 기존에는 GPU 아키텍처별 최적화 가이드, PyTorch 라이브러리 통합 패턴, 환경 설정 문제 등으로 인해 전문적인 지식이 필수였으나, 새로운 에이전트 스킬(Skill)을 통해 이 모든 복잡한 과정을 구조화된 컨텍스트로 제공합니다. 그 결과, 에이전트는 H100 같은 특정 GPU 아키텍처를 타겟으로 하는 RMSNorm이나 어텐션 커널을 성공적으로 생성

핵심 포인트

• AI 코딩 에이전트에게 CUDA 개발 지식을 '스킬(Skill)' 형태로 패키징하여 제공함으로써 복잡한 하드웨어 최적화 및 라이브러리 통합 문제를 해결했습니다.
• 에이전트는 H100, A100 등 특정 GPU 아키텍처를 지정하고, Qwen3-8B 같은 모델을 타겟으로 하는 벡터화된 커널(예: RMSNorm)을 성공적으로 생성할 수 있습니다.
• 생성되는 결과물은 CUDA 소스 코드(.cu), PyTorch C++ 바인딩(torch_binding.cpp), 빌드 설정 파일(build.toml), 그리고 최종 벤치마크 스크립트까지 포함하는 완전한 프로젝트 구조를 갖춥니다.
• 이 시스템은 `diffusers`와 `transformers` 같은 주요 라이브러리의 통합 패턴과, HuggingFace Kernel Hub를 통한 커널 로딩 기능까지 지원합니다.