Hopper 및 Blackwell GPU 에서 AI 워크로드를 위한 CUDA Tile 평가

요약

본 기술 기사는 NVIDIA의 새로운 GPU 커널 개발 프레임워크인 CUDA Tile (CuTile)을 Hopper 및 Blackwell 아키텍처에서 다양한 AI 워크로드에 걸쳐 평가합니다. CuTile은 프로그래밍 단순화와 효율성 유지를 목표로 하며, GEMM 및 어텐션 작업 벤치마크를 통해 성능과 이식성을 측정했습니다. 결과적으로, CuTile은 최신 데이터센터급 Blackwell(B200)에서 매우 높은 성능을 보여주었으나, 구형 아키텍처에서는 상당한 성능 저하가 관찰되었고, Triton에 비해 포터빌리티 측면에서는 열세임을 입증했습니다.

핵심 포인트

• CuTile은 Python 기반의 추상화 계층을 제공하여 프로그래밍 단순성을 크게 향상시켰다.
• 최신 Blackwell(B200) 아키텍처에서 CuTile은 융합된 어텐션 작업에서 FlashAttention-2 대비 높은 성능을 달성했다.
• CuTile은 GEMM 작업에서 수동 CUDA 커널의 실용적인 대체재가 될 잠재력을 보였으나, 최고 수준의 최적화 라이브러리(예: cuBLAS)를 완전히 대체하기에는 부족함이 있다.
• CuTile의 성능과 이식성은 워크로드와 대상 아키텍처에 크게 의존하며, 구형 GPU에서는 상당한 격차가 발생한다.
• Triton은 모든 테스트 플랫폼에서 높은 수준의 포터빌리티(cuBLAS 성능의 62~101% 유지)를 보여주며 CuTile보다 더 강력한 이식성을 입증했다.