HiFA4: Ascend HIF4 NPU에서 LLM 추론을 위한 학습이 필요 없는 4-bit FlashAttention

요약

Ascend NPU에서 LLM 추론을 최적화하기 위해 학습 없이 4-bit FlashAttention을 구현하는 HiFA4 기술을 제안합니다. Smooth-QK와 P-Reordering 메커니즘을 통해 양자화로 인한 정확도 손실을 최소화하고 연산 효율을 높입니다.

핵심 포인트

• Ascend HIF4 NPU 타겟의 최초 4-bit FlashAttention 설계
• Smooth-QK를 통한 양자화 난이도 조절 및 정확도 유지
• P-Reordering으로 소프트맥스 정규화 인자 누적 및 GEMM 융합
• Qwen3-8B 등 주요 모델에서 MMLU 정확도 퇴보 대폭 감소
• 임계 경로 지연 시간(latency) 약 35.4% 감소 기대