DeepSeek-V4, KV 캐시를 90% 줄여 500K 컨텍스트 처리 가능

요약

FlashMemory가 Lookahead Sparse Attention을 도입하여, 다음 토큰에 필요한 청크를 예측하는 작은 Neural Memory Indexer를 사용합니다. 이를 통해 GPU 메모리에서 캐시 유지량을 획기적으로 줄여, 백본 재학습 없이도 더 높은 정확도를 구현하며 500K 컨텍스트 처리가 가능해졌습니다.

핵심 포인트

• Lookahead Sparse Attention을 도입하여 효율성을 높임
• Neural Memory Indexer가 다음 토큰 청크를 예측함
• GPU 메모리 캐시 유지량을 크게 줄여 자원 절약 효과가 큼
• 백본 재학습 없이도 높은 정확도를 달성함