cuda: snake 활성화 연산자 병합 (곱셈, 사인, 제곱, 곱셈, 덧셈) (#22667) cuda: snake 활성화 연산자 병합 (곱셈,

요약

본 기술 기사는 CUDA 환경에서 'snake'라는 복잡한 활성화 연산자(y = x + sin(a*x)^2 * inv_b)를 단일 요소별 커널로 병합하는 과정을 다룹니다. 이를 통해 기존의 여러 개별 연산자로 분해되던 구조를 효율적으로 재작성하여, BigVGAN이나 Vocos 같은 오디오 디코더에서 발생하는 계산 부하를 줄이고 성능을 최적화합니다. 이 작업은 F32, F16, BF16 등 다양한 데이터 타입과 여러 플랫폼(CUDA, CPU, macOS, Linux 등)에 걸쳐 테스트 및 적용되었습니다.

핵심 포인트

• 복잡한 활성화 연산자 'snake'를 단일 요소별 커널로 병합하여 계산 효율성을 극대화했습니다.
• y = x + sin(a*x)^2 * inv_b 형태의 연산을 하나의 CUDA kernel로 재작성함으로써, 여러 개의 개별 연산 호출 오버헤드를 제거했습니다.
• F32, F16, BF16 등 다양한 정밀도와 CPU/GPU 아키텍처를 지원하며 광범위한 플랫폼 호환성을 확보했습니다.
• 이 최적화는 특히 BigVGAN이나 Vocos 같은 오디오 디코딩 모델의 성능 향상에 직접적으로 기여합니다.