b12293: CPU에서 Flash Attention V를 F32로 누적 처리 (#29810)
요약
기존 Flash Attention V의 F16 누적 합은 긴 컨텍스트에서 오버플로우 및 NaN 문제를 일으켰습니다. 이번 업데이트는 모든 V 타입을 F32로 누적 처리하여 안정성을 확보했습니다. 또한, x86 환경에서는 마스터 속도를 유지하며 성능을 개선했고, AVX512, NEON 등 다양한 CPU 아키텍처에 맞는 폴백 로직도 강화되었습니다.
핵심 포인트
- F16 누적 합의 오버플로우/NaN 문제를 해결하기 위해 V 타입을 F32로 변경하여 누적합니다.
- 모든 V 타입이 타일링된 커널처럼 F32에서 누적되어 안정성이 향상되었습니다.
- x86 환경에서는 마스터 속도를 유지하며 성능을 개선했습니다.
- AVX512, NEON 등 다양한 아키텍처에 맞는 폴백(fallback) 로직이 적용되었습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 llama.cpp Releases의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기