ZYFA는 Zyphra Cloud의 동력이 되는 AMD MI355X 기반 Zyphra Optimization Engine (ZOE)의 어텐션

요약

ZYFA는 어텐션 가중치가 FP8 양자화 과정에서 0으로 반올림되어 발생하는 수치적 오류를 해결하는 기술입니다. 이 엔진은 블록 재조정 및 정규화를 통해 정확도를 높이면서도 빠른 속도를 유지합니다. ZYFA는 AMD MI355X 기반의 Zyphra Optimization Engine (ZOE)에 통합되어 온프레미스 배포가 가능합니다.

핵심 포인트

• ZYFA는 FP8에서 발생하는 작은 어텐션 가중치 반올림 오류를 방지합니다.
• Mistral-7B 및 Qwen3-8B 모델 테스트 결과, 높은 정확도와 속도를 유지했습니다.
• 대부분의 FP8 오류는 입력을 8비트로 변환하는 과정에서 발생합니다.
• AMD MI355X 기반 ZOE에 통합되어 주권적 AI 구현을 목표로 합니다.