에이전트 워크플로우는 개방형 과학 작업과 같은 장기 지평(long-horizon tasks)으로 이동하고 있으며, 이러한 작업에서는 모델이 긴 컨텍스트 윈도우(context window)로부터 이점을 얻습니다. 하지만 초장문 컨텍스트(1M 토큰 이상)에서는 전체 어텐션(full attention)이 감당하기 어려울 정도로 비용이 많이 듭니다. 유망한 접근 방식은 희소 어텐션(sparse attention)으로, 전용 인덱서가 어텐션을 위해 키(key)의 부분 집합을 선택합니다. 하지만 현재의 인덱싱 방법들은 컨텍스트 크기에서 여전히 이차 비용(quadratic cost)을 가지거나 초장문 컨텍스트 규모에서 정확도를 잃습니다.
우리는 이를 잠재 희소 어텐션(Latent Sparse Attention, LSA)으로 해결합니다. LSA는 초장문 컨텍스트에서도 정확도를 유지하는 효율적인 어텐션 방식입니다. LSA에서는 키를 학습된 잠재 공간(learned latent space)에서 계층적으로 클러스터링하고, 쿼리(query)가 모든 키에 점수를 매기는 대신 클러스터의 계층 구조에 점수를 매기므로, 장 컨텍스트에서 프리필(prefill), 디코드(decode), 그리고 학습이 더 빨라집니다. 우리는 두 가지 변형을 제안합니다. 하나는 증류(distillation)를 통해 사전 훈련된 모델에 적용할 수 있는 Distilled-LSA (D-LSA)이며, 다른 하나는 다음 토큰 손실(next-token loss)만으로 네이티브하게 학습되는 Native-LSA (N-LSA)입니다.
10M 토큰에서 GLM-5.3-FLASH (QWEN-3.8-27B)를 사용했을 때, D-LSA는 원래의 희소 어텐션(전체 어텐션) 대비 프리필에서 22.7배(72.4배), 디코드에서 4.6배(42.5배)로 한 어텐션 레이어의 속도를 높이면서도 다양한 작업 전반에 걸쳐 유사한 정확도를 유지합니다. N-LSA는 128k 토큰에서 전체 어텐션과 동일한 정확도를 달성하며, 레이어당 1.6배의 학습 속도 향상을 보입니다. LSA는 모델이 초장문 컨텍스트로부터 이점을 얻을 수 있도록 실용적이고 효율적인 어텐션을 제공합니다.