FeatherAttn: Strix Halo에서의 어텐션 역방향 커널, FlashAttn보다 4배 빠름

요약

작성자는 Strix Halo 환경에서 최적화되지 않은 어텐션 역방향(bwd) 커널을 개선했습니다. 이 새로운 bwd 커널은 head dim 128의 경우 FlashAttn 대비 최대 4배 빠른 성능 향상을 보여줍니다. 이는 Anima LoRA 학습 속도 향상 등 모델 개발에 중요한 기여를 합니다.

핵심 포인트

• Strix Halo용 어텐션 bwd 커널 최적화가 핵심 병목 현상입니다.
• head dim 128에서 FlashAttn 대비 최대 4배의 성능 향상을 달성했습니다.
• Anima LoRA 학습 속도를 테스트 결과 40%까지 향상시킬 수 있습니다.
• 추가적으로 matmul bwd 커널 최적화도 필요하며, 관련 논의를 진행 중입니다.