희소 어텐션(sparse attention)을 활성화했지만, 모델은 여전히 128K 토큰에서 처리 능력이 떨어집니다. 문제는 인덱서(indexer) 때문이며, PIVOT은 가중치를 건드리지 않고도 이를 해결합니다.

요약 (TL;DR)

• 희소 어텐션의 인덱서는 쿼리당 모든 L 토큰을 점수화하므로 여전히 O(L²)입니다.
• PIVOT은 근처의 쿼리들(상위 k 토큰 중 약 90%가 중복되는)을 그룹화하고, 그룹당 하나의 프록시 스캔을 실행합니다 → O(L²/g)
• 결과: DeepSeek-V3.2 및 GLM-5.1에서 인덱서 속도 4배 향상, 종단 간 지연 시간 1.6배 감소
• 훈련 불필요: 추론 시 기존 DSA 모델에 플러그인 방식으로 적용 가능
• 두 가지 모드: PIVOT-Reuse(최대 속도)와 PIVOT-Refine(밀집 인덱서의 정확도 일치)

문제점 (The Problem)

DSA(Dynamic Sparse Attention)는 긴 컨텍스트 추론을 빠르게 만들어야 합니다. 모든 토큰에 점수를 매기고 → 상위 k를 선택한 후 → 그 k개에만 어텐션을 수행합니다. 복잡도는 O(L²)에서 O(L·k)로 떨어집니다.

하지만 **모든 토큰에 점수를 매기는 것 자체가 O(L²)**입니다. '인덱서'는 쿼리 위치당 전체 O(L) 스캔을 수행합니다. L개의 쿼리가 있으면, 다시 O(L²)로 돌아갑니다. 100K 토큰에서는 인덱서가 지연 시간을 지배하게 됩니다. 희소 어텐션은 거짓말이 됩니다.

작동 방식 (How It Works)

관찰 1: 인접한 쿼리들은 상위 k 토큰 선택의 약 90%를 공유합니다. 즉, 거의 동일한 컨텍스트를 처리합니다.

관찰 2: 인덱서 점수는 긴 꼬리를 가지며(long-tailed) — 프록시 쿼리는 신뢰할 수 있는 후보 세트를 생성합니다.

PIVOT의 알고리즘:

group = [q_i, q_{i+1}, ..., q_{i+g-1}]
proxy_q = mean(group)

...

인덱서 비용: O(L²) → O(L²/g). g=8일 경우 전체 스캔이 8배 적습니다.

코드를 보여주세요 (Show Me The Code)

import torch
import torch.nn.functional as F

...

⚠️ 참고 구현만 가능합니다. 프로덕션 속도 향상을 위해서는 Triton/CUDA 커널이 필요합니다. 공식 코드는 아직 공개되지 않았습니다 (2026년 7월).

벤치마크 결과 (Benchmark Results)

DeepSeek-V3.2 및 GLM-5.1에서 LongBench + RULER로 테스트:

| Method | Indexer Speed | E2E Latency | Accuracy | |
| --- | --- | --- | --- | |
| Dense DSA (baseline) | 1× | 1× | ✅ full | |
| ... | | | |
PIVOT-Refine = dense-indexer accuracy + 3× speed. Zero retraining.

문제점 및 한계 (Gotchas & Limitations)

DSA 전용: DeepSeek-V3.2 / GLM-5.1에서 즉시 작동합니다. 표준 Full-attention (전체 주의 집중) 모델은 먼저 DSA 미세 조정 (fine-tuning)이 필요합니다.

그룹 크기 수동 설정: 논문에는 적응형 전략 (adaptive strategy)이 없습니다. 모델이나 시퀀스 길이 (sequence length)에 따라 $g$ 값을 튜닝해야 합니다.

배치 추론 (Batch inference) 미테스트: 단일 시퀀스 결과만 존재합니다.

Prefill vs. Decode 분리 누락: 1.6배의 E2E (End-to-End) 수치는 단계별로 세분화되어 있지 않습니다.

🚀 지금 바로 시도해보세요

1. vLLM을 통해 DeepSeek-V3.2를 실행 중인가요? 상위 프로젝트(upstream)에 PIVOT 통합을 요청하세요.
2. 위의 레퍼런스 코드로 프로토타입을 제작하고, 대상 시퀀스 길이에서 일반 DSA와 비교하여 프로파일링 (profile) 하세요.
3. 계층 간 인덱스 재사용을 위해 IndexCache (arXiv:2603.12201)를 추가로 스택(stack)하세요.
4. 논문: arXiv:2607.24593

출처 (Sources)

• Hong Liu et al., "PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention", arXiv:2607.24593 — https://arxiv.org/abs/2607.24593
• "IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse", arXiv:2603.12201 — https://arxiv.org/abs/2603.12201
• "MISA: Mixture of Indexer Sparse Attention", arXiv:2605.07363 — https://arxiv.org/abs/2605.07363
• "FlashMemory-DeepSeek-V4: Lookahead Sparse Attention", arXiv:2606.09079 — https://arxiv.org/abs/2606.09079
• DeepSeek-V3.2 vLLM 블로그 — https://vllm.ai/blog/2025-09-29-deepseek-v3-2

실제 운영 환경에서 Sparse Attention (희소 주의 집중)을 사용해 본 경험은 어떠신가요? 댓글로 남겨주세요.