NSA 및 InfLLMv2와 같은 현재의 계층적 어텐션 (Hierarchical Attention) 방식은 거친 어텐션 점수 (Coarse attention scores)를 기반으로 상위 k개의 관련 키-값 (KV) 블록을 선택한 다음, 선택된 토큰에 대해 미세한 소프트맥스 어텐션 (Softmax attention)을 적용합니다. 그러나 top-k 연산은 모든 쿼리 (Query)에 대해 관련 토큰의 수가 고정되어 있다고 가정하며, 희소 (Sparse) 단계와 밀집 (Dense) 단계 사이의 그래디언트 흐름 (Gradient flow)을 차단합니다. 본 연구에서는 첫 번째 단계에서 현재 쿼리에 따라 가변적인 수의 블록을 선택하기 위해 적응형 희소 $\alpha$-entmax 변환을 활용하는 DashAttention (Differentiable and Adaptive Sparse Hierarchical Attention)을 제안합니다. 이는 결과적으로 두 번째 단계의 소프트맥스 어텐션을 위한 사전 정보 (Prior)를 제공하며, 전체 계층 구조를 완전히 미분 가능하게 (Differentiable) 유지합니다. 다른 계층적 어텐션 방식과 달리, DashAttention은 비분산적 (Non-dispersive)임을 보여주며, 이는 더 나은 긴 문맥 모델링 (Long-context modeling) 능력으로 이어집니다. 대규모 언어 모델 (LLMs)을 이용한 실험 결과, DashAttention은 75%의 희소도 (Sparsity)에서 전체 어텐션 (Full attention)과 대등한 정확도를 달성하였으며, 특히 높은 희소도 영역에서 NSA 및 InfLLMv2보다 더 나은 파레토 프런티어 (Pareto frontier)를 보여주었습니다. 또한 우리는 Triton을 사용하여 DashAttention의 효율적이고 GPU를 고려한 (GPU-aware) 구현을 제공하며, 이는 추론 (Inference) 시 FlashAttention-3보다 최대 높은 속도 향상을 달성합니다. 종합적으로, DashAttention은 긴 문맥을 모델링하기 위한 비용 효율적인 전략을 제공합니다.