Hopper 및 Blackwell GPU 에서 AI 워크로드를 위한 CUDA Tile 평가

NVIDIA 의 CUDA Tile (CuTile) 은 현대 GPU 에서 Tensor Core 와 Tensor Memory Accelerator (TMA) 효율성을 유지하면서 프로그래밍을 단순화하기 위해 타일 중심의 추상화를 제공하는 Python 기반 GPU 커널 개발 프레임워크입니다. 우리는 cuBLAS, Triton, WMMA 및 원시 SIMT 와 같은 기존 접근법과 비교하여 Hopper 와 Blackwell 을 아우르는 세 가지 NVIDIA GPU(H100 NVL, B200, RTX PRO 6000 Blackwell Server Edition) 에서 CuTile 에 대한 최초의 독립적이고 교차 아키텍처 평가를 제시합니다. 우리는 BF16/FP16 정밀도로 GEMM, 융합된 멀티 헤드 어텐션 및 엔드 투 엔드 LLM 추론을 포함한 대표적인 AI 워크로드를 벤치마크하여 성능과 포터빌리티를 평가했습니다. 우리의 결과는 CuTile 의 효과성이 워크로드와 아키텍처에 크게 의존함을 보여줍니다. 데이터센터급 Blackwell(B200)에서 CuTile 은 융합된 어텐션 작업에서 1007 TFLOP/s 의 성능을 달성하여 FlashAttention-2 보다 2.5 배 뛰어난 성능을 보였으며, 이를 위해 Python 커널 코드만 60 줄이 필요했습니다. GEMM 에서는 WMMA(123 줄) 대비 22 줄의 코드로 cuBLAS 성능의 5279% 를 달성하여 수동으로 작성된 CUDA 커널의 실용적인 대체재가 되었으나, 벤더 최적화 라이브러리의 대체재로는 아직 부족함을 나타냈습니다. 그러나 동일한 CuTile 어텐션 커널은 RTX PRO 6000(sm_120)에서는 FlashAttention-2 의 처리량(throughput) 의 53% 만 달성하여 상당한 교차 아키텍처 최적화 격차를 드러냈습니다. 반면 Triton 은 모든 테스트 플랫폼에서 아키텍처별 튜닝 없이 cuBLAS 성능의 62101% 를 유지하며, 훨씬 더 강력한 포터빌리티를 입증했습니다.