AgentCompile: 직접적인 CUDA 추론을 위한 LLM 가이드 컴파일러

Transformer 추론은 점점 더 특화된 컴파일러(compiler) 및 런타임(runtime) 지원에 의존하고 있지만, 실제 모델 그래프(model graphs)는 여전히 어떤 영역을 특화(specializing)할 가치가 있는지, 그리고 어떤 CUDA 구현 제품군(implementation families)이 타당한지에 대한 의미론적 결정(semantic decisions)을 필요로 합니다. 우리는 LLM 출력을 오직 권고용 검색 메타데이터(advisory search metadata)로만 사용하는 LLM 가이드 CUDA 추론 컴파일러인 AgentCompile을 제시합니다. 컴파일러에서 도출된 영역 요약(region summaries)과 제한된 후보 공간(bounded candidate spaces)이 주어지면, LLM은 의미론적 레이블(semantic labels), 후보 우선순위(candidate priorities), 파라미터 힌트(parameter hints), 그리고 위험 주석(risk annotations)을 제안합니다. 컴파일러는 템플릿(templates)을 통해 CUDA 후보들을 구체화하고, 인터페이스(interface) 및 하드웨어 제약 조건을 확인하며, 후보들을 경험적으로 검증하고, 측정된 지연 시간(latency)에 따라 구현체를 선택하며, 특화(specialization)가 지원되지 않거나 수익성이 없을 경우 폴백(fallback)합니다. 엔드 투 엔드(end-to-end) 자기회귀 생성(autoregressive generation)에서 AgentCompile은 5가지 대표적인 워크로드(workloads)에 대해 Qwen3-1.7B, Qwen3-4B, Llama-3.2-1B-Instruct에서 각각 PyTorch eager 대비 평균 5.66배, 4.05배, 4.26배의 속도 향상을 달성했습니다. 우리는 이 프로젝트를 오픈 소스로 공개할 예정입니다.