Zyphra FlashAttention (ZYFA) 소개: AMD MI355X에서 더 빠르고 정확한 8비트 부동 소수점(FP8) 어텐션

원문 발행 2026. 11. 06. 11:36원문 언어 영어AI 한국어 번역X @zyphraai (자동 발견) 원문 보기

요약

Zyphra FlashAttention (ZYFA)은 AMD MI355X 환경에서 작동하는 고성능 FP8 어텐션 기술입니다. ZYFA는 Softmax 계산의 병목 현상을 해결하기 위해 'lean P' 기법을 도입하여, 점수당 벡터 작업량을 획기적으로 줄였습니다. 또한, 블록 재조정(rescaling) 과정을 통해 낮은 비트 환경에서의 수치적 정확도를 높여 성능과 안정성을 동시에 확보했습니다.

핵심 포인트

MI355X에서 AITER 대비 1.16–1.76배 높은 처리량 제공.
Softmax 병목을 'lean P'로 대체하여 작업량을 14 사이클에서 6 사이클로 감소.
어셈블리 명령어 스케줄링으로 두 그룹의 스레드가 번갈아 작동하도록 최적화.
반올림 전 블록 재조정(rescaling)을 통해 수치적 오차를 최소화함.

Zyphra FlashAttention (ZYFA)을 소개합니다. 이는 AMD MI355X에서 작동하는, 더 빠르고 정확한 8비트 부동 소수점(FP8) 어텐션 기술입니다.

당사의 prefill 커널은 지속적인 부하 조건에서 실제 모델 입력을 사용하여 16K 토큰 처리 시, AMD의 추론 커널 라이브러리인 AITER 대비 1.16–1.76배 높은 처리량(throughput)을 제공합니다.

FP8은 행렬 연산을 BF16보다 2배 빠르게 만들지만, softmax 자체는 속도를 높이지 못하기 때문에, 장문맥 prefill 과정에서 softmax가 병목 현상(bottleneck)이 됩니다.

ZYFA의 "lean P"는 softmax의 지수 함수를 곱셈-덧셈 연산과 정수 변환으로 대체하여, 점수당 벡터 작업량을 14 사이클에서 6 사이클로 줄입니다.

저희는 어셈블리(assembly)에 명령어 스케줄을 작성하여 두 그룹의 스레드가 번갈아 가며 작동하도록 했습니다. 한 그룹은 softmax(어텐션 가중치)를 계산하는 동안, 다른 그룹은 행렬 곱셈을 수행합니다.

lean P 덕분에, 행렬 유닛은 지수 함수 사용 시 60%였던 것에서 86%까지 정상 상태 사이클 동안 바쁘게 작동할 수 있습니다.

작은 어텐션 가중치는 FP8에서 잘못하게는 0으로 반올림될 수 있습니다. ZYFA는 반올림하기 전에 블록을 재조정(rescales)하고, 반올림된 값을 사용하여 정규화합니다.

헤드 차원(head dimension)이 128일 때, 이는 Mistral-7B와 Qwen3-8B 모델에서 4K 토큰 처리 시 AITER의 FP8 커널 대비 62–78% 적은 수치적 오차를 보입니다.

수치학(Numerics)은 하드웨어 동작에 영향을 미칩니다. 작은 가중치를 0으로 반올림하면 스위칭되는 비트 수가 줄어들어 AITER가 실제 입력에서 더 높은 클럭으로 작동할 수 있게 하지만, 정확도를 떨어뜨립니다.

ZYFA는 이러한 가중치 중 더 많은 부분을 보존하면서도, 필요한 클럭 사이클이 적기 때문에 여전히 더 빨리 완료됩니다.

저희가 연구한 세 가지 모델 전반에 걸쳐, 대부분의 FP8 오차는 입력을 8비트로 변환하는 과정에서 발생합니다.

Mistral-7B의 경우, 쿼리와 키를 회전시켜 큰 값들을 분산시키면 입력 오차가 대략 절반으로 줄어들며, 양자화와 결합했을 때 추가 시간은 거의 없습니다.

AI 자동 생성 콘텐츠

원문 바로가기

Zyphra FlashAttention (ZYFA) 소개: AMD MI355X에서 더 빠르고 정확한 8비트 부동 소수점(FP8) 어텐션

요약

핵심 포인트

댓글