Insights
AI가 자동으로 큐레이션·번역·정리하는 기술 동향 피드입니다.
PIVOT은 토큰 수준 희소 어텐션(DSA)의 인덱싱 병목 현상을 해결하기 위한 새로운 연구입니다. 인접한 쿼리 간의 중복성을 활용하여 단일 접두사 스캔을 공유함으로써, 정확도를 유지하면서도 추론 속도를 획기적으로 높였습니다.
AI 자동 생성 콘텐츠
본 콘텐츠는 arXiv cs.CL (NLP)의 원문을 AI가 자동으로 요약·번역·분석한 것입니다. 원 저작권은 원저작자에게 있으며, 정확한 내용은 반드시 원문을 확인해 주세요.
원문 바로가기DeepSeek Sparse Attention (DSA)가 실제 운영 시스템에서 구현하는 방식과 같이 토큰 수준 희소 어텐션 (Token-level sparse attention)은 다운스트림 어텐션 (downstream attention)을 효율적으로 만들지만, 병목 현상을 이를 공급하는 인덱서 (indexer)로 전이시킵니다. 각 쿼리 (query)에 대해 상위 k개 (top-k)의 토큰을 선택하기 위해, 인덱서는 여전히 모든 이전 토큰의 점수를 매겨야 하며, 이는 길이가 L인 시퀀스 (sequence)에 대해 레이어 (layer)당 O(L^2)의 비용을 발생시킵니다. 우리는 이러한 쿼리당 스캔 (per-query scan)이 상당 부분 중복된다는 점을 관찰했습니다. 즉, 인접한 쿼리들은 매우 중복되는 상위 k개 (top-k) 토큰을 선택하며, 인덱서 점수는 키 축 (key axis)을 따라 롱테일 (long-tailed) 분포를 보입니다. 우리는 이러한 특성을 PIVOT (Proxy Indexing Via One full-prefix Traversal)에서 활용합니다. PIVOT은 인접한 쿼리 그룹 전체에 대해 하나의 접두사 스캔 (prefix scan)을 공유하는, DSA 인덱서를 대체할 수 있는 훈련이 필요 없는 (training-free) 드롭인 교체 (drop-in replacement) 방식입니다. PIVOT은 그룹을 하나의 프록시 쿼리 (proxy query)로 통합하고, 공유된 단일 전체 접두사 스캔 (full-prefix scan)을 수행하여 후보 세트 (candidate set)를 얻은 다음, 해당 세트에서 각 쿼리에 대한 상위 k개 (top-k)를 선택합니다. 두 가지 변형 모델은 속도와 충실도 (fidelity) 사이에서 트레이드오프를 수행합니다. PIVOT-Reuse는 최대 속도를 위해 프록시 상위 k개 (proxy top-k)를 그룹 전체에서 공유하는 반면, PIVOT-Refine은 각 쿼리의 인덱서로 후보 세트의 점수를 다시 매긴 후 개별 상위 k개 (top-k)를 선택하여, 약간의 추가 비용으로 밀집 인덱서 (dense indexer)와 일치하는 성능을 보여줍니다. 단일 알고리즘이 두 추론 단계 (inference phases)를 모두 커버하며, 그룹이 형성되는 방식만 다릅니다. 프리필 (prefill) 단계에서는 연속된 쿼리의 고정 크기 그룹을 사용하고, 디코드 (decode) 단계에서는 하나의 멀티 토큰 예측 (multi-token prediction, MTP) 단계에서 함께 디코딩되는 쿼리들을 사용합니다. LongBench 및 RULER에 걸친 DeepSeek-V3.2 및 GLM-5.1 테스트 결과, PIVOT은 밀집 DSA 인덱서의 정확도를 유지하면서도 최대 4배의 가속화를 달성하였고, 긴 컨텍스트 (long context)에서 엔드 투 엔드 지연 시간 (end-to-end latency)을 최대 1.6배까지 줄였습니다.