요약

CUDA 환경에서 KV 캐시 양자화 속도를 높이기 위한 Fast Walsh-Hadamard Transform(FWHT) 구현이 추가되었습니다. 이를 통해 prefill 성능은 약 1-2%, text generation 성능은 약 7-9% 향상되는 결과를 보였습니다.

핵심 포인트

• CUDA 기반 FWHT 구현으로 KV 캐시 양자화 가속화
• Prefill 단계에서 약 1-2% 성능 향상
• Text Generation 단계에서 약 7-9% 성능 향상
• RTX 5090 환경에서 Gemma 4 모델 테스트 완료