CuBridge: LLM 기반의 고품질 Attention 커널 이해 및 재구성 프레임워크

요약

CuBridge는 다양한 attention 변형을 지원하는 고품질의 CUDA attention 커널을 재구성하기 위한 새로운 프레임워크입니다. 이 프레임워크는 전문가가 작성한 CUDA 코드를 구조화된 lift-transfer-lower 워크플로우를 통해 추상화하고, 실행 가능한 중간 표현(IR)으로 승격시킵니다. 사용자가 PyTorch 사양만 제공하면 CuBridge가 최적화되고 정확성이 보장되는 CUDA 코드를 자동으로 생성하여, 기존 방법들의 성능 및 유연성 문제를 해결합니다.

핵심 포인트

• CuBridge는 다양한 attention 변형을 지원하는 고품질의 CUDA 커널 생성을 목표로 합니다.
• 전문가 작성 커널을 'lift-transfer-lower' 워크플로우를 통해 구조화된 중간 표현(IR)으로 승격시킵니다.
• 사용자는 PyTorch 사양만 제공하면 되며, CuBridge가 최적화되고 검증된 CUDA 코드를 자동으로 재구성합니다.
• CuBridge는 기존의 일반 프레임워크나 LLM 기반 접근법보다 일관되게 높은 정확성과 성능을 보여줍니다.