DeepSeek은 DeepSeek-V4.1-Flash를 통해 KV-value 캐시의 메모리 요구량을 크게 압축하는 새로운 방법을 발표했습니다.

저는 이 기술이 가지는 함의에 대해 생각해 보았는데, 이는 OpenAI와 Anthropic에게 그다지 좋지 않은 상황입니다. 이것은 모델들이 훨씬 더 큰 컨텍스트(context)를 가질 수 있게 하고, 서비스 요청 시 메모리 소모가 훨씬 적다는 것을 의미합니다. 결과적으로 추론(inference) 비용이 저렴해집니다.

추론 비용이 저렴해지고, 필요한 메모리가 줄어들며, 모델 성능까지 좋아진다면, OpenAI와 Anthropic이 컴퓨팅 자원을 확보하는 데서 가지고 있던 이점이 점차 무의미해질 것입니다.

제 생각에 DeepSeek과 다른 중국 연구소들은 추론 비용을 가혹할 정도로 낮추고 있으며, 이는 OpenAI와 Anthropic이 최고 모델을 개발하는 데 지출한 모든 비용을 회수하기 어렵거나 불가능하게 만들 것입니다.