StreamIndex: 메모리 제한적 압축 희소 주의 (CSA) 를 위한 스트리밍 Top-k

요약

본 기술 기사는 메모리 제한적인 압축 희소 주의(CSA)를 위한 스트리밍 Top-k 메커니즘인 StreamIndex를 소개합니다. 기존 CSA 구현체는 전체 중간 점수 텐서를 물질화해야 하므로 긴 시퀀스 길이에서 GPU의 HBM 용량을 초과하는 메모리 부족(OOM) 문제를 일으킵니다. StreamIndex는 이러한 문제를 해결하기 위해, 전체 중간 값을 물질화하지 않고 청크 기반으로 Top-k를 처리하고 병합하는 드라이버를 제공하며, 이를 통해 훨씬 긴 시퀀스 길이에서도 효율적으로 작동할 수 있음을 입증했습니다.

핵심 포인트

• StreamIndex는 메모리 제한적인 CSA 파이프라인을 위한 Triton 구현입니다.
• 기존 방식은 전체 중간 점수 텐서 물질화로 인해 긴 시퀀스 길이(S=65,536 이상)에서 OOM 문제가 발생합니다.
• StreamIndex는 청크 기반의 Top-k 드라이버를 사용하여 메모리 사용량을 크게 줄이고 더 긴 시퀀스 길이까지 처리할 수 있습니다.
• 제안된 방법은 기존 주의 커널(TileLang 등)과 호환되며, 높은 재현율(recall)을 유지하면서 효율적인 실행 시간을 보여줍니다.