HIP: RDNA3 mma FA, 더 빠른 AMD transpose, AMD 튜닝 ( #22880 ) CUDA mma FA 커널에 RDNA3 지

요약

이 기술 기사는 HIP를 사용하여 RDNA3 아키텍처에서 CUDA mma FA 커널을 지원하고 AMD 튜닝을 개선한 내용을 다룹니다. 특히 VKQ(Vector Quantization)의 FP16 누산 작업 시 RDNA3 텐서 코어를 활용하기 위해 타일 크기 조건을 정의했으며, 헤드 크기에 따른 적절한 누산 방식을 적용했습니다. 또한 RDNA3/4 및 CDNA1에 대한 커널 파라미터 튜닝을 통해 성능 개선 사항과 제약 조건(예: 헤드 크기가 128보다 클 때의 성능 한계)을 발견하고 새로운 데이터 레이아웃 항목을 추가했습니다.

핵심 포인트

• RDNA3 아키텍처에서 CUDA mma FA 커널 지원 및 AMD 최적화가 이루어졌습니다.
• VKQ FP16 누산 시 RDNA3 텐서 코어 사용을 위해 타일 크기(attention head 방향)에 대한 특정 조건이 설정되었습니다.
• 헤드 크기가 128보다 큰 경우, RDNA3/4에서는 타일 커널 방식보다 성능 개선 폭이 제한적입니다.
• CDNA 아키텍처의 경우 최대 헤드 크기 256까지 커널 작동이 가능함을 확인했습니다.
• 다양한 플랫폼(macOS, Linux, Android, Windows 등) 및 API(CUDA, Vulkan, SYCL, HIP 등)에 대한 빌드 지원 목록이 제공되었습니다.