CuBridge: LLM 기반의 고품질 Attention 커널 이해 및 재구성 프레임워크

효율적인 CUDA attention 구현은 현대 딥러닝 시스템에 필수적이지만, 다양한 진화하는 attention 변형을 지원하기는 여전히 어렵습니다. 기존 프레임워크와 컴파일러는 성능과 유연성을 교환하며, 전문가가 작성한 커널은 높은 효율성을 달성하지만 적응하기 어렵습니다. 최근 연구는 GPU 커널 생성을 위해 대규모 언어 모델 (LLM) 을 탐구했으나, 이전 연구들은 attention 과 같은 복잡한 연산자에 대해 불안정한 정확성과 큰 성능 격차를 보고했습니다. 우리는 CuBridge 를 제시합니다. CuBridge 는 전문가가 작성한 attention 커널을 구조화된 lift-transfer-lower 워크플로우를 통해 적응시킵니다. CuBridge 는 전문가가 작성한 CUDA attention 커널에서 시작하여, 저수준 CUDA 문법을 추상화하고 실행 오케스트레이션을 명시적으로 만드는 실행 가능한 중간 표현 (IR) 으로 이를 승격시킵니다. 사용자에게 제공된 PyTorch 사양을 주면 CuBridge 는 타겟 IR 프로그램을 생성하고 검증한 후, 참조 가이드를 통한 lower 를 통해 최적화된 CUDA 코드를 재구성합니다. 다양한 attention 변형과 GPU 플랫폼에서 CuBridge 는 일관되게 정확한 커널을 생성하며, 일반 프레임워크, 컴파일러 기반 접근법 및 이전 LLM 기반 방법보다 현저히 성능이 뛰어납니다.