Deepseek basically killed kv cache. If only they released a model under 100b params. 🙏
English summary not available yet. You can still read the original source.
Read the Korean summary
DeepSeek V4.1 Flash가 1M 컨텍스트 창 처리 시 압도적인 메모리 효율성을 보여주며 KV Cache 관리 측면에서 혁신을 이루었습니다. Llama 3.3 70B 모델이 약 320GB의 RAM을 필요로 하는 것과 비교하여, DSV4.1F는 0.9GB 미만으로 매우 낮은 자원을 요구하는 것이 핵심입니다.
- deepseek
- kv cache
- llm
- memory efficiency
- long context