DashAttention: 미분 가능하고 적응형인 희소 계층적 어텐션 (Differentiable and Adaptive Sparse

요약

DashAttention은 기존 계층적 어텐션 방식의 한계점인 Top-k 연산으로 인한 그래디언트 흐름 차단 문제를 해결한 새로운 아키텍처입니다. 이 연구는 적응형 희소 $\alpha$-entmax 변환을 활용하여 쿼리별로 가변적인 수의 블록을 선택하고, 전체 계층 구조를 완전히 미분 가능하게 유지합니다. 실험 결과, DashAttention은 높은 희소도에서도 Full attention과 대등한 정확도를 달성하며, 특히 긴 문맥 모델링에서 기존 방식보다 우수한 성능을 보였습니다.

핵심 포인트

• DashAttention은 적응형 희소 $\alpha$-entmax 변환을 사용하여 쿼리별로 가변적인 블록 선택이 가능합니다.
• 전체 계층 구조가 완전히 미분 가능(Differentiable)하게 유지되어 그래디언트 흐름 차단 문제를 해결했습니다.
• 높은 희소도에서도 Full attention과 대등한 정확도를 달성하며, 긴 문맥 모델링에 효과적입니다.
• Triton을 이용한 GPU-aware 구현으로 FlashAttention-3 대비 높은 추론 속도 향상을 보여줍니다.