FuTransformer: Hopper GPU에서 Llama 스타일 추론을 위한 FP8 prefill 및 INT4 decode

요약

FuTransformer는 NVIDIA Hopper GPU를 위한 Llama 스타일 트랜스포머 블록의 CUDA 구현체입니다. CODA 접근 방식을 적용하여 직접적인 KV-캐시 배치, 가중치 접기 등을 수행했습니다. 이 커널은 FP8 및 INT4 양자화 경로에서 기존 PyTorch 기반 구현 대비 현저히 높은 추론 속도를 보여주며, 낮은 퍼플렉서티 증가로 정확도 손실을 최소화했습니다.

핵심 포인트

• Hopper GPU용 Llama 스타일 트랜스포머 CUDA 구현체 제시
• FP8 및 INT4 양자화를 통해 기존 PyTorch 대비 최대 6.3배 빠른 디코드 속도 달성
• 직접적인 KV-캐시 배치와 가중치 접기 기술 적용
• 양자화 오차를 줄이는 블록 대각선 하다마드 변환 사용