최근 DeepSeek v4 의 에이전트 (agent) 작업 성능 벤치마킹을 진행했습니다. 성능 면에서는 예상대로 오픈소스 모델 중 최상위권입니다. 하지만 정말 놀란 것은 비용입니다. 저렴하다는 건 알지만, 그 저렴함이 합리적인 수준은 아닙니다.

비용 추정

판매되지 않는 v4 flash 를 예시로 들겠습니다 (실제 제공자 비용을 더 잘 반영할 수 있습니다).

deepseek v4 flash price on openrouter

opus 4.7 price on openrouter

OpenRouter 가격을 보면, deepseek v4 flash 가격은 opus 4.7 가격의 약 0.03 배입니다. (장기 에이전트 작업에서 입력 토큰이 지배적 비용이기 때문에 입력 토큰 가격만 확인했습니다.) 따라서 v4 flash 가 opus 4.7 과 유사한 토큰 수를 사용하는 경우, 실제 비용은 opus 사용 대비 약 0.03 배여야 합니다.

실제 데이터

그 후 벤치마킹을 실행했습니다. openclaw (PI 를 에이전트 루프에 사용) 에서 실행되는 장기 에이전트 작업으로, 모델 제공자는 openrouter 입니다. 실제 비용 데이터는 제 마음을 놀라게 했습니다:

deepseek v4 flash 는 토큰 사용량과 작업당 도구 호출량이 유사한 경우, opus 4.7 대비 약 0.0066 배의 비용입니다. 이는 우리가 추정했던 가격의 1/5 입니다. 어떻게 가능한 것입니까??

비밀 무기

원본 데이터를 파고들고 더 자세한 통계 자료를 수집한 후,我终于 (결국) 이유를 찾았습니다. 비밀은 캐시 히트율과 캐시 읽기 비용입니다.

이 경우의 주요 인자는 캐시 히트율입니다. DeepSeek 은 어떻게든 97% 의 캐시 히트율을 달성했습니다!!!

이 숫자가 얼마나 중요한지 모르시는 분들을 위해 설명드립니다: 이 캐시 히트율과 읽기/쓰기 가격 비율에서, 1% 더 높은 캐시 히트율은 약 20% 낮은 전체 비용을 의미합니다.

DS 는 opus 보다 10% 높은 캐시율을 달성했습니다. 이것만으로도 총 비용의 2/3 를 절감했습니다.

이차적 인자는 매우 낮은 읽기/쓰기 가격 비율 때문입니다: DS 에서 각 캐시 히트는 캐시 미스 (miss) 의 0.02 배만 소요되지만, opus 는 0.08 배입니다. 이는 openai/anthropic/gemini 가 모두 0.08~0.1 이라는 점을 고려하면 매우 비정상적입니다. 이것만으로도 전체 비용을 절반으로 줄일 수 있습니다.

위 내용은 저의 실험, 측정 및 통계 데이터일 뿐입니다. DS 가 어떻게 그러한 수치를 달성했는지 저는 알지 못합니다. 이 분야에 더 잘 알고 있는 사람이 이를 설명하거나 추측해 주시면 감사하겠습니다.