GPU 커널 생성 (GPU kernel generation)을 위한 LLM 기반 에이전트 (LLM-based agents)가 빠르게 발전하고 있지만, 이들의 진보는 그들이 최적화하려는 벤치마크 (benchmarks)에 의해 근본적으로 제약받고 있습니다. 기존의 벤치마크들은 프로덕션 추론 프레임워크 (production inference frameworks)와 정렬이 잘 되어 있지 않습니다. 즉, 단일 GPU에서 합성 입력 (synthetic inputs)을 사용하여 커널을 평가하고, 주변의 컴파일 스택 (compilation stack)을 무시하며, 새로운 최적화를 발견하기보다는 이미 알려진 최적화를 복제하는 것에 보상을 줍니다. 그 결과 발생하는 보상 신호 (reward signals)는 오해의 소지가 있습니다. 에이전트들은 샌드박스 (sandboxes) 내에서는 높은 점수를 기록하지만, 실제 시스템에 통합될 때 인터페이스 불일치 (interface incompatibilities), 컴파일 스택 충돌 (compilation-stack conflicts), 그리고 조용한 정확도 저하 (silent correctness degradation)를 유발하는 커널을 생성하도록 학습됩니다.

우리는 8개 카테고리에 걸쳐 46개의 대표적인 아키텍처 세트를 중심으로 구축된 커널 벤치마크인 FastKernels를 소개합니다. 이 커널들은 집합적으로 HuggingFace Transformers 아키텍처의 96.2% (409/425)를 포괄합니다. FastKernels는 미니멀한 프로덕션급 추론 프레임워크 (production-grade inference framework) 역할도 겸하며, 주요 LLM 서빙 (LLM serving) 환경에서 vLLM 및 SGLang과 같은 견고한 시스템과 대등한 성능으로 실행되며, 소외된 아키텍처들에 대해서는 상위 참조 모델들을 실질적으로 능가합니다. 각 태스크의 인터페이스는 해당 아키텍처 제품군의 최첨단 라이브러리 (state-of-the-art library) 내 상응하는 모듈을 반영하므로, 최적화된 커널을 프로덕션 코드베이스 (production codebases)에 직접 배포할 수 있습니다.

FastKernels를 통해 최첨단 커널 에이전트들을 평가한 결과, 가장 강력한 에이전트조차 프로덕션 베이스라인 (production baselines) 대비 총 0.94$ imes$의 속도 향상만을 달성했으며, 더 약한 에이전트들은 각각 0.78$ imes$와 0.53$ imes$를 기록했습니다. 이는 벤치마크와 프로덕션 간의 불일치가 이 분야의 결정적인 병목 현상 (bottleneck)임을 확인시켜 줍니다. 우리는 벤치마크에서의 이득이 프로덕션 처리량 (production throughput) 향상으로 직접 이어지는 커널 에이전트를 향한 디딤돌로서 FastKernels를 공개합니다. 코드는 https://github.com/Snowflake-AI-Research/fastkernels 에서 확인할 수 있습니다.