CUDA 커널 개발 자체도 어렵지만, 이를 PyTorch 기반의 거대 모델 라이브러리인 transformers나 diffusers에 정확하게 통합하는 것은 훨씬 더 복잡한 문제입니다. 이 과정에는 아키텍처별 메모리 접근 패턴, 벡터화 전략, 워프 셔플 리덕션(warp shuffle reductions) 등 전문 개발자도 어려움을 겪는 수많은 함정들이 존재합니다.

본 글에서 소개된 방식은 이러한 고난도의 전문 영역에 AI 에이전트의 능력을 결합하여 문제를 해결한 사례입니다. 핵심 아이디어는 방대한 도메인 지식(Domain Knowledge)을 '스킬(Skill)'이라는 형태로 구조화하고, 이를 코딩 에이전트에게 제공하는 것입니다.

1. 전문 지식의 패키징: 스킬(Skill) 구현
CUDA 커널 개발은 해결해야 할 문제 영역(Surface Area)이 매우 넓습니다. 여기에는 다음과 같은 내용들이 포함됩니다:

• 하드웨어 종속성: H100, A100, T4 등 GPU 세대별로 다른 컴퓨팅 능력, 공유 메모리 크기, 대역폭 프로파일에 대한 최적화 가이드.
• 라이브러리 통합 패턴: diffusers와 transformers 같은 라이브러리는 각기 다른 모듈 계층 구조와 통합 방식을 가지고 있어 커스텀 커널 등록 시 특별한 지식이 필요합니다. 또한, PyTorch의 torch.compile에 인식되도록 커널을 등록하는 과정이 필수적입니다.
• 환경 복잡성: CUDA, PyTorch, Python 버전 간의 의존성이 얽혀 거대한 환경 매트릭스를 형성합니다.

기존에는 이러한 지식이 문서나 Stack Overflow 답변 곳곳에 분산되어 있어 활용하기 어려웠지만, 에이전트 스킬은 이 모든 것을 온디맨드(on-demand)로 로드할 수 있는 컨텍스트로 묶어줍니다. 스킬 자체는 약 550 토큰의 구조화된 지침과 함께 다양한 레퍼런스 스크립트, 최적화 가이드 등을 포함합니다.

2. 에이전트의 자동화 능력 시연
에이전트는 이 스킬을 읽고 필요한 모든 단계를 스스로 수행할 수 있습니다. 예를 들어,