DeepSeek Sparse Attention (DSA)가 실제 운영 시스템에서 구현하는 방식과 같이 토큰 수준 희소 어텐션 (Token-level sparse attention)은 다운스트림 어텐션 (downstream attention)을 효율적으로 만들지만, 병목 현상을 이를 공급하는 인덱서 (indexer)로 전이시킵니다. 각 쿼리 (query)에 대해 상위 k개 (top-k)의 토큰을 선택하기 위해, 인덱서는 여전히 모든 이전 토큰의 점수를 매겨야 하며, 이는 길이가 L인 시퀀스 (sequence)에 대해 레이어 (layer)당 O(L^2)의 비용을 발생시킵니다. 우리는 이러한 쿼리당 스캔 (per-query scan)이 상당 부분 중복된다는 점을 관찰했습니다. 즉, 인접한 쿼리들은 매우 중복되는 상위 k개 (top-k) 토큰을 선택하며, 인덱서 점수는 키 축 (key axis)을 따라 롱테일 (long-tailed) 분포를 보입니다. 우리는 이러한 특성을 PIVOT (Proxy Indexing Via One full-prefix Traversal)에서 활용합니다. PIVOT은 인접한 쿼리 그룹 전체에 대해 하나의 접두사 스캔 (prefix scan)을 공유하는, DSA 인덱서를 대체할 수 있는 훈련이 필요 없는 (training-free) 드롭인 교체 (drop-in replacement) 방식입니다. PIVOT은 그룹을 하나의 프록시 쿼리 (proxy query)로 통합하고, 공유된 단일 전체 접두사 스캔 (full-prefix scan)을 수행하여 후보 세트 (candidate set)를 얻은 다음, 해당 세트에서 각 쿼리에 대한 상위 k개 (top-k)를 선택합니다. 두 가지 변형 모델은 속도와 충실도 (fidelity) 사이에서 트레이드오프를 수행합니다. PIVOT-Reuse는 최대 속도를 위해 프록시 상위 k개 (proxy top-k)를 그룹 전체에서 공유하는 반면, PIVOT-Refine은 각 쿼리의 인덱서로 후보 세트의 점수를 다시 매긴 후 개별 상위 k개 (top-k)를 선택하여, 약간의 추가 비용으로 밀집 인덱서 (dense indexer)와 일치하는 성능을 보여줍니다. 단일 알고리즘이 두 추론 단계 (inference phases)를 모두 커버하며, 그룹이 형성되는 방식만 다릅니다. 프리필 (prefill) 단계에서는 연속된 쿼리의 고정 크기 그룹을 사용하고, 디코드 (decode) 단계에서는 하나의 멀티 토큰 예측 (multi-token prediction, MTP) 단계에서 함께 디코딩되는 쿼리들을 사용합니다. LongBench 및 RULER에 걸친 DeepSeek-V3.2 및 GLM-5.1 테스트 결과, PIVOT은 밀집 DSA 인덱서의 정확도를 유지하면서도 최대 4배의 가속화를 달성하였고, 긴 컨텍스트 (long context)에서 엔드 투 엔드 지연 시간 (end-to-end latency)을 최대 1.6배까지 줄였습니다.