CUDA: am17an에 의한 빠른 Walsh-Hadamard 변환(FWHT) 추가 · Pull Request #23615 ·

요약

CUDA 환경에서 KV 캐시 양자화 속도를 높이기 위한 Fast Walsh-Hadamard Transform(FWHT) 구현이 추가되었습니다. 이를 통해 prefill 성능은 약 1-2%, text generation 성능은 약 7-9% 향상되는 결과를 보였습니다.

핵심 포인트

• CUDA 기반 FWHT 구현으로 KV 캐시 양자화 가속화
• Prefill 단계에서 약 1-2% 성능 향상
• Text Generation 단계에서 약 7-9% 성능 향상
• RTX 5090 환경에서 Gemma 4 모델 테스트 완료