FlashMemory-DeepSeek-V4: Lookahead Sparse Attention을 통한 초장기 컨텍스트의 Lightning

요약

DeepSeek-V4 기반의 FlashMemory-DeepSeek-V4는 Lookahead Sparse Attention(LSA)을 통해 초장기 컨텍스트 서빙 시 발생하는 GPU 메모리 병목을 해결합니다. 분리형 학습 전략을 사용하여 백본 모델 없이도 인덱서를 독립적으로 학습할 수 있으며, KV 캐시 점유율을 획기적으로 낮추면서 성능을 유지합니다.

핵심 포인트

• Lookahead Sparse Attention(LSA)으로 필요한 KV 청크만 메모리에 보존
• 백본 모델이 필요 없는 분리형 학습(decoupled training) 전략 제안
• KV 캐시 점유율을 베이스라인 대비 약 13.5% 수준으로 압축
• 500K 극한 규모에서 KV 캐시 오버헤드를 90% 이상 억제
• LongBench-v2 등 주요 벤치마크에서 정확도 유지 및 향상 입증